A múlt év legjelentősebb bigdata-fejleménye talán az volt, hogy az emberek már nem beszélnek külön nagyadatról, azt egyszerűen adottnak tekintik - mutatott rá több szakértő a big data, az analitika és a mesterséges intelligencia területével foglalkozó KDnuggets portál körkérdésében (Big Data: Main Developments in 2016 and Key Trends in 2017), amelyet Arató Bence, a múlt héten megtartott Budapest Data Fórum 2017 konferenciát szervező BI Consulting ügyvezető igazgatója idézett a három napon át több mint 250 résztvevőt vonzó rendezvény nyitóelőadásában.
Nagy tévedés lenne azonban ennek alapján arra következtetni, hogy ezzel együtt a nagyadat-elemzésre szolgáló eszközök keresettsége is visszaesett. Ellenkezőleg, az International Data Corporation (IDC) előrejelzése (Worldwide Big Data Technology and Services 2013-2017 Forecast) szerint a bigdata-technológiák és -szolgáltatások piaca világszinten évente átlagosan 27 százalékkal nőtt az utóbbi években, hatszorosan felülmúlva a teljes IT-piac bővülésének ütemét, és mérete idén el fogja érni a 32,4 milliárd dollárt.
Ugyanez a trend térségünkben is tetten érhető. A piacelemző márciusban közzétett féléves jelentése (IDC Semiannual Big Data and Analytics Spending Guide) szerint Közép-Kelet-Európában a bigdata- és analitikai megoldásokra fordított költés idén meghaladja a 3 milliárd dollárt, 2020-ra pedig el fogja érni a 4,4 milliárdot - ami ötéves előrejelzési időszakra vetítve átlagosan évi 12,1 százalékos növekedésnek felel meg.
Az üzleti és IT-szolgáltatások 2017-ben 58 százalékkal részesülnek ebből a költésből, de tortaszeletük az évtized végére eléri a 63 százalékot. Még gyorsabban, évente átlagosan 16,4 százalékkal nő majd a hardverköltés, mivel a vállalatok elsősorban tárolómegoldásokat vásárolnak a mind nagyobb adattömeg elemzéséhez. A szoftverek közül a kognitív platformok, a tartalomelemző megoldások és a keresőrendszerek lesznek a legkapósabbak, a beszerzésükhöz köthető költés évente átlagosan több mint 18 százalékkal fog nőni. A végfelhasználói lekérdező és jelentéskészítő eszközökhöz, a relációsadattárház-felügyeleti megoldásokhoz, valamint a nagyvállalati teljesítménymenedzsment-alkalmazásokhoz köthető beruházások értéke idén eléri a 0,48 milliárd dollárt, ami meghaladja a régió szoftverköltésének 55 százalékát.
Kinek halálhírét keltik…
Nagyobb mértékben szorult háttérbe bigdata-környezetben a Hadoop 2016-ban, mint arra számítottam - mondta a KDnuggets körkérdése során az egyik szakértő, aki szerint tavaly az adatkutatók kevésbé tartották relevánsnak a MapReduce, a HBase és a HDFS technológiát, mint valaha. Az Apache Hadoop, az adatintenzív, elosztott alkalmazásokat támogató nyílt forráskódú keretrendszer éppen tavaly volt tízéves, így mára a korlátai is megmutatkoztak, de temetni azért még korai lenne, mert folyamatosan bővül a technológia által életre hívott ökoszisztémában a nyílt forráskódú projektek szerteágazó köre.
Előadásában Arató Bence többek között a kollaboratív adatkutató platformot fejlesztő Dataiku blogját idézte, amely a dublini Hadoop Summit 2016 konferencián felvonuló bigdata-vonatkozású Apache projekteket - Flink, Drill, Zeppelin, Eagle, Helium, Falcon, Atlas, Kylin, Phoenix, Ranger, Flume, Airavata és Beam - hozza fel példaként. A bejegyzés (5 Trends Observed From Q2-Q3 2016 European Big Data Events) szerint ezek némelyike a Hadoop - kötegelt feldolgozásban, a MapReduce szerverfürtök teljesítményét rontó, szűk keresztmetszetekben és a biztonság terén megmutatkozó - korlátain igyekszik túllépni, míg más projektek a következő nagy durranást ígérik. A mennyiség és a változatosság egyértelműen azt mutatja, hogy az Apache szoftveralapítvány támogatásával az innovatív keretrendszerek új hulláma érkezik a nagy adattömegek hatékony feldolgozásához. Nyilvánvaló az is, hogy a vállalatoknak, amelyek lépést tartanának a gyorsan fejlődő szabványokkal és termékekkel, nem lesz könnyű dolguk a tisztánlátással a bigdata-technológiák táguló ökoszisztémájában.
A Hadoop vitalitására utal, hogy a nagy disztribúciókat jegyző start-up cégek közül immár kettő is tőzsdén van - a Cloudera idén áprilisban bocsátotta ki papírjait, három évvel a Hortonworks hasonló lépése után. A nyilvánossá váló adatokból kiderül, hogy mindkét cég viszonylag kicsi, 100-200 millió dolláros bevételei töretlenül nőttek az utóbbi pár évben, ám ezzel együtt erősen veszteségesek. Tavaly a Cloudera 261, a Hortonworks 184 millió dollár bevételt ért el, de előbbinek 187, utóbbinak 252 millió dollár nettó veszteséget kellett elkönyvelnie. Feltörekvő vállalatok esetében ez persze érthető, mivel rengeteget kell költeniük mind kutatásra-fejlesztésre, mind marketingre és az értékesítési hálózat építésére. Kérdés azonban, hogy a részvényesek ezt meddig hajlandók pénzelni, így belátható időn belül nyereségessé kell válniuk. Összehasonlításképp a Hadoop-készüléket is szállító Teradata tavalyi árbevétele 2,32 milliárd dollár volt - a forgalom ezzel már a harmadik egymást követő évben csökkent ugyan, de a cég így is 125 millió dollár nyereséggel zárt.
Beruházások előkészítésekor emellett érdemes azt is mérlegelni, hogy a start-up cégek piaci pozíciója gyorsan változhat. A Gartner mágikus négyzetében (2016 Magic Quadrant for Data Warehouse and Database Management Solutions for Analytics) a Cloudera és a Hortonworks még a fejlődés lehetséges irányát mutató vizionáriusok között szerepelt. Idén a Cloudera már kihívóvá lépett elő, miközben a Hortonworks réspiaci szereplőnek járó besorolást kapott (2017 Magic Quadrant for Data Management Solutions for Analytics). A piacot vezető nagy szállítók - mint például az IBM, a Microsoft, az Oracle, az SAP, az SAS és a Teradata - viszont kitartóan őrzik pozíciójukat. Bár a konkrét analitikai feladatoktól függ, hogy mely eszközök szolgálják majd a legjobban a kitűzött célok elérését, a bigdata-projekteket még mindig érdemesebb lehet valamely nagy szállító megoldására építeni. Annál is inkább, mert azok egyre nyitottabbakká válnak, eleve tartalmaznak nyílt forráskódú technológiákat is, vagy azokkal könnyen integrálhatók.
Értéket adni nehéz
A bigdata-platformokhoz BI-eszközöket fejlesztő AtScale tavalyi felmérésében (Big Data Maturity Survey 2016) arra keresett választ, hogy a vállalatok jellemzően milyen indíttatásból kezdenek nagyadat-projektbe, és kezdeményezéseik, beruházásaik üzleti érték szempontjából mennyire sikeresek. A válaszadók tapasztalata szerint az analitikai környezet horizontális méretezésének támogatására és a bevételnövelés céljából indított bigdata-projektek 56, illetve 53 százaléka adott értéket az üzletnek, és az új alkalmazások bevezetésével érkező nagyadat-típusú analitika is az esetek 49 százalékában hasonlóan hasznosnak bizonyult. A költségcsökkentést célzó, valamint az üzleti oldal kíváncsiságát kiszolgáló, "mi lenne ha" típusú kérdések megválaszolására hivatott projekteknek azonban csupán a 40, illetve 29 százaléka teremtett mérhető értéket.
Ugyanebben a felmérésben a vállalatok mindössze 18 százaléka valószínűsítette, hogy bigdata-megoldások bevezetésével teljesen ki fogja váltani hagyományos adattárházát, 40 százalékuk úgy véli, hogy az újgenerációs technológiák inkább kiegészítik, mintsem helyettesítik a meglévőket. A válaszadók 42 százaléka szerint mindkét út járható.
Két trend mindenesetre nagyban segíti a bigdata-technológiák térhódítását. Egyrészt a nagyobb kapacitású és gyorsabb SSD-meghajtók - az adatközpontokban legalábbis - ma már költség tekintetében is felveszik a versenyt a merevlemezekkel. A Teradata szerint az adatvédelemre fordított költést is beleszámítva dolláralapon 1 terabájt adat tárolása immár olcsóbb SSD-ken, mint a gyakrabban meghibásodó HDD-ken. A vállalatok így házon belül is könnyebben kiépíthetik az infrastruktúrát, amelyen a nagyadat-típusú analitikai megoldások az üzlet számára elfogadható átfutással - akár valós időben - választ adnak.
Másrészt a nagyadat legnagyobb része a felhőben keletkezik, ezért célszerű ott tartani, és helyben elemezni. Mind több analitikai megoldás vándorol ezért a felhőbe, támogatja a hibrid szolgáltatási modellt, illetve eleve felhőalapú. Az AtScale felmérésében részt vevő vállalatok 14 százaléka már ma is a felhőben működteti teljes bigdata-analitikai környezetét, további 13 százalékuk annak nagyobb részét, 26 százalékuk pedig bizonyos elemeit. Más szóval a vállalatoknál kialakított bigdata-környezetek több mint fele már jelenleg is tartalmaz felhőalapú komponenseket, és ez az arány rövid időn belül 70 százalék fölé nőhet.
Egyre nagyobb szerephez jutnak a bigdata-analitikában a tanuló algoritmusok és a neurális hálózatok, így Arató Bence is egy olyan cég, a Mighty AI példájával szemléltette a trendet, amely a felhőben, szolgáltatásként kínál megtisztított tesztadatokat a gépi tanuláshoz (machine learninghez).
Szintén sokszínű analitikai jövőképet vetít előre az IDC. Az elemző szerint az ML-alkalmazások piacmérete 2020-ra eléri a 40 milliárd dollárt - és 60 százalékuk az Amazon, a Google, az IBM és a Microsoft felhőben, illetve hibrid modellben is elérhető szoftverplatformján fog futni.
