HP höll sin tredje årliga big data-konferens tidigare denna månad i Boston. En bred blandning av stora och små organisationer deltog och fick insikter om framtiden för big data via huvudtalare från bland annat Facebook, Michael Stonebraker, Nate Silver och många fler. Det fanns också över 40 breakout-sessioner som drevs av kunder som lyfte fram olika projekt och krigshistorier. Även om HP säkerligen hade nyheter på evenemanget med uppdateringar om Vertica och ett nytt startup-initiativ , handlade konferensen mycket om genomförandet av big data-initiativ mer än något annat. Här är några viktiga lärdomar från konferensen som belyser framtiden för big data från de som befinner sig i skyttegravarna.
Data Lakes är marknadsföringsbullshit
Det var mer eller mindre poängen av Michael Stonebraker, vinnare av 2014 års Turing Award. Hans kommentar väckte ett jubel från publiken, som tydligt är trötta på att marknadsföringsmeddelanden pressas ut av branschen. Han kommenterade inte datatsunamis eller andra meteorologiska big data-fenomen, men det är säkert att anta att han också finner dem i BS-kategorin. Summan av kardemumman här är att branschen kämpar en del för att sätta en snygg pilbåge på konceptet big data analytics. Till viss del behöver det, de flesta organisationer ligger långt efter kurvan när det gäller att göra sin data handlingsbar. Vidare kämpar de med att kartlägga en plan för att skörda deras data, så visualiseringen av en datasjö är vettig. Men att bara få in data i en sjö är en mycket liten del av problemet som organisationer står inför. Vilket leder till nästa punkt.
Hadoop är inte Big Data
Många organisationer börjar sin big data-resa med en Hadoop-instans. Även om det är en beundransvärd start, betyder det inte att bara använda Hadoop att du gör "big data". Ken Rudin, Director of Analytics of Facebook, bröt ner detta i sitt tal om big data-myter där han lyfte fram skillnaden i drivande effekt inte insikter.
Även om konceptet att driva inverkan verkar grundläggande, blir många organisationer invecklade med teknik eller tittar på data som inte driver förändring eller leder till bättre resultat. Körpåverkan kräver dock balans och leder till frågan jag ställde över ett dussin gånger till olika personer vid evenemanget.
Hur ställer du rätt frågor?
Organisationer kan ha den bästa tekniken, de smartaste dataforskarna och underbara datauppsättningar, men det garanterar inte framgång. Att ställa de rätta frågorna är grundläggande för att få verksamheten att påverka. För att åstadkomma detta bäddar de flesta företag som jag pratade med in sina datavetare i affärsenheterna. Detta ger dem mer erfarenhet av de problem som verksamheten står inför och ger företagsledaren direkt tillgång till datacentrerade frågor. Medan organisationsdiagrammen ser lite olika ut beroende på vem du frågar, är konsensus inbäddad att dataforskare har rätt struktur. Den här strukturen hjälper till att säkerställa att bättre frågor ställs, vilket har sidovinsten av snabbare tid till meningsfull eller handlingsbar data.
Många utmaningar framöver
Som sammansatta som ledarna i det här utrymmet är det fortfarande mycket kvar att göra. Det mesta av big data-pusslet är fortfarande inte sorterat. Visst, hörnbitarna är i och mycket av bården, men de flesta bitarna ligger fortfarande upp och ner i en hög. Mycket av smärtan har med hastighet att göra. Att flytta runt datamängder, ibland från äldre system eller system som inte byggdes med ett öga mot dataportabilitet, är ett stort problem. Att bara få in data i en analysplattform i tid kräver mycket arbete för de flesta företag. Transporthastigheten är enorm, ju snabbare data kommer in i analysplattformen, desto snabbare kan den efterfrågas och affärsplaner justeras. Försäljningsdata var den vanligaste tråden på denna punkt, några jag pratade med har nästan realtidsåtkomst och många såg data mindre än en dag senare. Många talade dock om smärtan av att behöva vänta många dagar för att få en försäljningsdrilldown, vilket i vissa fall innebär att det var för sent att vidta åtgärder.
HP har för sin del en omfattande uppsättning hårdvara, mjukvara och tjänster för att hjälpa organisationer att lösa dessa problem som historiskt sett har varit konsultföretagens territorium. Genom att ge företag möjlighet att proaktivt söka inverkan från sin egen data, såväl som externa källor i många fall, hjälper HP organisationer att driva stegvisa vinster. Det kan vara en av de stora missuppfattningarna om löftet om big data. Visst, det finns stora vinster att hitta, kanske något transformerande kommer ut ur datan. Mer sannolikt är dock att korrekt analys är mer som en basebollspelare som slår i genomsnitt. En vanlig rad singlar är trevligt och lägger sig vackert med tiden.
Amazon