Hur astronom hjÀlper till att överbrygga Big Data Gap

Ingen ifrÄgasÀtter det faktum att datavetenskap Àr hÀr pÄ ett stort sÀtt, och det vÀxer snabbt. Idag Àr datavetenskap-ninjor kanske den mest eftertraktade talangen pÄ marknaden. För dem som inte vet vad en datavetare gör, anvÀnder dataforskare en kombinerad uppsÀttning fÀrdigheter frÄn datavetenskap, statistik, teknik, affÀrsinsikter och strategi för att bryta enorma datamÀngder och ta fram viktiga insikter som har stora pÄverkan pÄ företagen.

Det Àr lÀtt att förstÄ hur företag har ökat för att förstÄ vÀrdet av datavetenskap, eftersom volymen genererad data fortsÀtter att vÀxa exponentiellt. Enligt IBM skapas uppskattningsvis 2,5 miljoner byte data dagligen. Vad det betyder Àr att 90 procent av den data som finns idag skapades under de senaste tvÄ Ären.

Utan dataforskare skulle konsumenterna inte ha de anpassade rekommendationerna frÄn Hulu eller shoppingupplevelsen hos Amazon. De skulle inte utsÀttas för det mycket riktade innehÄllet och reklam pÄ alla deras favoritplattformar för sociala medier. För de företag som Àr inblandade hÀr representerar dessa dock tydliga, tvingande intÀktsmöjligheter som bara inte hÀnder utan stark strategi och körning kring deras data. FrÄgan Àr att dataforskare inte Àr exakt en vara.

Enligt en McKinsey-studie kommer efterfrÄgan pÄ datavetare bara i USA att vara en halv miljon jobb. Problemet Àr att det kommer att finnas mindre Àn en fjÀrdedel av en miljon datavetare tillgÀngliga globalt. För att göra problemet Ànnu vÀrre spenderas majoriteten av de flesta datavetenskaparnas tid idag pÄ datateknik, vilket helt enkelt sÀtter tabellen för att de ska börja göra verklig datavetenskap.

Big Data Engineering

Maxime Beauchemin, dataingenjör pÄ Airbnb och högsta arkitekt bakom Airflow, definierade datateknik som:

“DatateknikfĂ€ltet kan ses som ett superset av affĂ€rsinformation och datalagring som ger fler element frĂ„n programvaruteknik.”

Datateknik finns eftersom företag nu har enorma mÀngder mycket vÀrdefulla data, men för att fÄ vÀrdefull insikt frÄn big data mÄste den extraheras och vara meningsfullt snabbt och i stor skala. NÀr det gÀller specifika behov eller funktioner inom datateknik kan mÄnga kategoriseras inom dataintegration och tjÀnster.

Med SaaS som den nya standarden för företagets verksamhet har dataintegrering blivit lika viktig och lika utmanande som den nÄgonsin varit. Det finns ett kritiskt behov av att synkronisera referensdata över system, och behovet av att ha uppdaterad data för att fungera ordentligt Àr mycket större Àn inom SaaS.

Faktum Àr att dagens chefer ofta fortfarande tecknar avtal utan att verkligen tÀnka igenom eller förstÄ dataintegrationsutmaningarna. Nu kommer vissa SaaS-leverantörer att erbjuda sitt eget analyserbjudande, men de saknar i sig förstÄelse och perspektiv för resten av kundens datainfrastruktur. Det gör det inte lÀttare för chefer nÀr det belopp som det faktiskt kommer att krÀva för korrekt integration vanligtvis minskas av leverantörer för att hjÀlpa dem att stÀnga fler erbjudanden, snabbare.

Ett steg lÀngre kan datateknik krÀva att tjÀnster och verktyg utvecklas för att automatisera arbete som datavetare tidigare har gjort mer manuellt. TjÀnster och verktyg för saker som datainmatning, metrisk berÀkning, detektering av anomali, hantering av metadata, experiment och instrumentering Àr vanliga exempel pÄ detta. Det mÄste finnas en konstant prioritering för att automatisera arbetsbelastningar och bygga abstraktion som gör det möjligt för dataforskare att klÀttra uppför stegen av komplexitet.

LÄter som mycket arbete, eller hur? Vi rÄkar kÀnna till nÄgra mÀnniskor som, snarare Àn att lÄta brist pÄ talang vara en kÀrnpunkt för förbÀttringar i detta utrymme, har byggt sin egen programvara för att Àta vÀrlden med teknik för att lösa detta problem.

Ange astronom

Astronom driver datainformation genom att förena data för att avslöja handlingsbara insikter. Deras plattform ansluter och centraliserar data, vilket gör det anmÀrkningsvÀrt enkelt för alla frÄn affÀrsanvÀndare till dataforskare att snabbt skapa och övervaka datarörledningar.

En av de mest spĂ€nnande sakerna med detta team Ă€r att de har utvecklat en plattform och en lösning som gör det möjligt för dem att tillföra vĂ€rde till en rad företag, oavsett om de befinner sig vid en punkt dĂ€r deras ” blinda flygningar ” Ă€r ny sak), redo för ‘intelligens’ (realtidsanalys, förutsĂ€gbar analys, maskininlĂ€rning, AI), eller letar efter det ” galenskapslĂ€ge ” -utrustningen (banbrytande förbĂ€ttringar och nya, innovativa affĂ€rsmodeller).

LĂ€ngs vĂ€gen hjĂ€lper de företag att hantera silodata, datacentralisering, rengöring, anrikning, aggregering, affĂ€rsinformation, och helt enkelt komma ur “kalkylark helvete.” De tar med sig ett brett utbud av nya kunder varje dag frĂ„n startups till företag, och vi ser inte efterfrĂ„gan sakta ner nĂ€r som helst.

För att ge dig en verklig kÀnsla av vad som gör Astronomer sÄ speciell, gick jag vidare och gjorde en snabb frÄga med Astronom-grundare Ry Walker och Tim Brunk. Kolla in vad de hade att sÀga nedan:

Vad förvÄnar er mest om allt som hÀnder med big data?

Ry: Det har varit fantastiskt att se data gÄ frÄn ett slagord till en hushÄllsperiod under de senaste Ären. PÄ grund av det ser vi sÄ mÄnga företag som krypterar för att fÄ en plan pÄ plats för att Àndra hur de anvÀnder sina data. Deras databaser vÀxer nu som galna, men utmaningen Àr att förvandla rÄdata till en konkret affÀrstillgÄng.

Tim: Jag tror att ett resultat av denna tillvĂ€xt Ă€r ett paradox för för mycket data – det finns en förlamning. MĂ€ngden data som genereras Ă€r sĂ„ mycket större Ă€n den kapacitet som de flesta organisationer har för att bearbeta den. Det Ă€r lite som att drabbas av en tidvattenvĂ„g för dessa företag. Marknadsförare har till exempel plötsligt data om varje Ă„tgĂ€rd som görs pĂ„ webbplats eller app, CRM-data, transaktionsdata, sociala medier etc. Var börjar de till och med? Leta efter verktyg? Det finns över 3500 att vĂ€lja mellan. Och det finns förmodligen ingen datavetare i teamet, vilket betyder att det kan ta att fĂ„ IT involverat bara för att stĂ€lla upp nĂ„got. Big data-anvĂ€ndning Ă€r efterslĂ€pande generering av big data.

Ry: Det Ă€r ocksĂ„ vĂ€rt att nĂ€mna, explosionen av datasilor. Det verkar som om mĂ„nga organisationer lĂ€ngtar efter enkelheten i centralisering, men det Ă€r riskabelt idag. Nu Ă€r det dags för utforskning och innovation, och det kan kĂ€nnas rörigt. Dagens ordning Ă€r big data-anslutning. Omfamna kaoset och anta ett verktyg – du vet, som astronom – för att bygga datarörledningar över dessa silor och hitta ett sĂ€tt att ge klarhet i kaoset.

Vad skulle du sÀga Àr speciellt med det du gör, sÀrskilt jÀmfört med konkurrenter?

Ry: Ur ett tekniskt perspektiv tror vi pĂ„ att tillhandahĂ„lla en plattform, som vi kĂ€rleksfullt kallar vĂ„r “maskin”, som inte Ă€ventyrar kapaciteten, Ă€ven om vĂ„ra kunder inte vet hur man skriver kod. SĂ„ internt Ă€r vi vĂ€ldigt dev-fokuserade, men vi berĂ€ttar detta för maskiner + mĂ€nniskor. VĂ„r maskin Ă€r vĂ„r verksamhet, men vi tror att vĂ„ra mĂ€nniskor lĂ€gger mycket till mixen. Vi Ă€r inte rĂ€dda för att smutsa hĂ€nderna pĂ„ vĂ„ra kunder för att genomföra nĂ„got knepigt.

Tim: PÄ samma sÀtt bygger vi inte bara cool tech, Àven om vi Àr; vi sitter ocksÄ i diken med folket som kÀmpar med ett problem vi kan lösa. SÄ vi löser problemet tillsammans. Det tillvÀgagÄngssÀttet Àr nÄgot som ingen av vÄra konkurrenter verkar ta och det gör att vi verkligen kan tala vÄra kunders sprÄk.

Vad Àr du mest stolt över nÀr det gÀller astronom?

Ry: Det Ă€r enkelt. Laget. Vi har haft turen att fĂ„ sĂ€llskap av mĂ„nga smarta, passionerade mĂ€nniskor och varje dag blommar laget ytterligare. Vi Ă€r glada att tĂ€nka pĂ„ all kompetensutveckling som vi “sponsrar” och det Ă€r uppenbart för oss redan att detta tidiga grundlĂ€ggande astronomteam kommer att vara legendariskt de nĂ€rmaste Ă„ren.

Tim: En annan sak Ă€r att vi objektivt sett inte borde vara nĂ€stan lika framgĂ„ngsrika som vi Ă€r. Vi har de fantastiska kunderna, förstklassiga investerare och en varumĂ€rkesmedvetenhet pĂ„ marknaden som uppriktigt sagt fĂ„ngar oss ibland. Vi gick in i toppacceleratorprogrammet med startups frĂ„n NYC, SF och London, och vi Ă€r det enda mellanvĂ€stra företaget som nĂ„gonsin har accepterats. Det finns inget imponerande med oss ​​pĂ„ papper – Ry och jag har ganska normala CV – men vi gör nĂ„got speciellt. Det Ă€r typ av en ö med felaktiga leksaker, och jag Ă€lskar det bara.

Nog med big data, lÄt oss prata om er. Vad skulle du sÀga Àr det viktigaste du gör för att undvika att bli utbrÀnd?

Ry: UtbrÀndhet Àr oundvikligt. Ibland kan en actionfylld mÄndag fÄ oss att kÀnna att vi bara arbetat en vecka. Nyckeln Àr att försöka koppla bort pÄ helgerna och ta sÄ mÄnga resor som möjligt för att Ätminstone hÄlla landskapet intressant och dra oss bort frÄn vÄra datorer. Vi förstÄr att vi offrar en viss balans mellan arbete och privatliv under de första Ären av detta företag i utbyte mot att bygga nÄgot bra.

Tim: Men jag tror inte att balans och storhet utesluter varandra. Det som hĂ„ller mig frisk Ă€r att ta en ledig dag i veckan, helt. Ingen kan ens nĂ„ mig. Min fru och jag kan hitta en ny plats att vandra, gĂ„ pĂ„ brunch och matinĂ© eller spela spel och dricka blodiga marys. PoĂ€ngen Ă€r att ha en dag för att göra det som lĂ„ter roligt och spontant för oss – vad som helst som inte kĂ€nns som arbete. Det Ă€r den bibliska principen “sabbat”, som Ă€r en fascinerande Ă„terstĂ€llning och extremt effektivt sĂ€tt att Ă„terhĂ€mta sig.

Om du kunde ge ett rĂ„d – om big data, startliv, vad som helst – vad skulle det vara?

Tim: Okej, jag har en som jag fortfarande lÀr mig sjÀlv: var ödmjuk. Var sÀrskilt villig att proaktivt söka vÀgledning och faktiskt lyssna. Var villig att skjuta upp vissa saker, till din medgrundare eller team. Var villig att be om ekonomisk hjÀlp. Vi har tagit upp lÄn för att göra löner. Det Àr ödmjuk, men hÀr Àr vi. Var villig att erkÀnna att du inte har allt klart och nÀr du gör misstag, gör dem till en möjlighet. Det lÄter som mycket rÄd, men sann ödmjukhet Àr heltÀckande. Det hjÀlper dig att bygga ett bÀttre företag eftersom du Àr villig att utforska, stÀlla frÄgor och Àndra.

Ry: Jag gÄr taktiskt: Mitt rÄd Àr att starta en blogg. Skrivande Àr utmanande men terapeutiskt och det Àr bra för ditt personliga varumÀrke. Skriv om allt du gillar, Àven noveller. Vad som helst. Vi roterar genom vÄr personal för att författa vÄrt veckovisa blogginlÀgg delvis eftersom vi vill uppmuntra livslÄnga skrivvanor med vÄrt team.

LÀs mer om stora data och intervjuer hÀr pÄ Tech.Co