Magyarországon is már közel két évtizede készülnek a vállalatok adatait egyetlen központi helyre gyűjtő, könnyen lekérdezhető és elemezhetővé tévő adattárház-rendszerek. A technológia fejlődése ezen a téren sem áll meg, így napjainkra számos olyan eszköz és módszer érhető el, amely lényegesen megkönnyíti a fejlesztéseket.
Reneszánszukat élő vállalati adattárházak
Az adatmodellezés területén a Data Vault módszertan terjedése hozott komoly újdonságot. A Data Vault alkalmazásával egységes szerkezeti elvek mentén tervezhető a sokszor több száz vagy akár több ezer táblát tartalmazó adattárházak belső felépítése. Ez nemcsak a modellezési munkát gyorsítja fel, és a későbbi átláthatóságot segíti elő, hanem a fejlesztők dolgát is megkönnyíti.
Az adattárházak költségeinek jelentős részét az adatmozgató és -tisztító ETL-folyamatok kialakítása és karbantartása teszi ki, ezért egyre népszerűbbek azok a kódgenerálás-alapú eszközök, amelyeknél a programozó csak definiálja az elvégzendő adattöltési folyamatokat, és a tényleges programok automatikusan generálódnak. Az ilyen megoldások nagy előnye, hogy a későbbi módosítások átvezetése a rendszeren sokkal könnyebb és gyorsabb, mint a kézi fejlesztés esetén.
Szintén a sokféle vállalati rendszerben szétszórt adatok könnyebb elérését segítik az adatvirtualizációs megoldások. Ennél a megközelítésnél az elemzésekhez szükséges adatokat nem fizikailag töltik át egy központi adattárházba, hanem a virtualizációs szoftver közvetlenül a forrásrendszereket kérdezi le. Az operatív rendszerek fölösleges terhelésének elkerülése érdekében a lekérdezett adatokat adott ideig az adatvirtualizációs szerveren is megőrzik.
Az adattárházak által gyűjtött rengeteg adat rendszerezése, katalogizálása és minőségbiztosítása önmagában is jelentős feladat. A különböző Data Governance megoldások ezt a bonyolult és költségigényes folyamatot támogatják. Alkalmazásuk különösen az olyan erősen szabályozott területeken kritikus, mint a pénzügyi szektor, ahol az adatminőségi hibáknak komoly következményei lehetnek.
A végfelhasználók elégedettségének szempontjából az adattárházak sebességének is kiemelkedő szerepe van, különösen az önkiszolgáló BI-eszközök robbanásszerű terjedésének korában. Mára az átlagos felhasználó néhány másodperces várakozás után elveszti türelmét, és könnyen másfelé terelődik figyelme. Szerencsére a modern adatbázis-kezelők sok olyan sebességnövelő funkciót kínálnak, amelyek segítségével drasztikusan csökkenthető a lekérdezések futási ideje. Idetartoznak az oszlopalapú adattároló motorok, a valós idejű, szinte észrevehetetlen adattömörítés és az adatkezelés a memóriában. Ezeknek az eszközöknek az alkalmazásával sok-sok millió soros adattáblák azonnali elemzése sem okoz nehézséget.
A big data hazai terjedése
Nemzetközi felmérések szerint a vállalatok egyre nagyobb része alkalmaz bigdata-eszközöket. A felhasználási területek változatosak, a próbálkozástól a költségcsökkentésen át az új adatforrásokra épülő alkalmazásokig terjednek. Az Atscale felmérése szerint a legjobb eredményt azok a projektek hozzák, amelyekben az adatinfrastruktúra skálázása a fő cél. A hazai alkalmazási gyakorlatban is hasonló trendek érvényesülnek. Az évek óta tartó korai kísérletező szakasz után mára már számos cégnél éles üzemben vannak ilyen megoldások. Az első fecskék itthon is az internetcégek és a távközlési szolgáltatók voltak, de mostanra már a pénzügyi szektorból és a média területéről is vannak alkalmazási példák.
Jól mutatja a hazai bigdata-ökoszisztéma erősödését az is, hogy az iparág két meghatározó cége, a Cloudera és a Hortonworks dinamikusan növekvő fejlesztő- és támogatóközpontot működtet Budapesten.
Adatvezérelt vállalatok és az innováció
Az adatokkal való egyre okosabb gazdálkodás fontosságát a hazai vállalatok is felismerik. Egyre több cég keresi azokat az innovációs lehetőségeket, amelyek segítségével adatalapú termékeket és szolgáltatásokat tud bevezetni. Egyesek nyilvános hackatonokot szerveznek, mások házon belüli inkubátorokkal vagy éppen adatösztöndíjakkal próbálják egyre jobban felpezsdíteni az adatalapú innovációt.
Érdekes képviselői az új típusú adatvezérelt szolgáltatásoknak az intelligens szövegalapú asszisztensek, népszerű nevükön chatbotok. Ezek a rendszerek a felhasználókkal vagy ügyfelekkel való szöveges kapcsolattartásban játszanak fontos szerepet: képesek előkeresni fontos információkat vagy válaszolni egyszerűbb kérdésekre. Ha pedig végképp elfogy a tudomány, akkor be tudnak kapcsolni a beszélgetésbe egy hús-vér operátort is. Hazánkban az elmúlt évben indult a chatbotok terjedése, ma már média-, e-kereskedelmi, pénzügyi és távközlési cégeknél is működnek ilyen megoldások.
Szintén az új irányzatba tartoznak azok a szolgáltatások, amelyeknél egy vállalat szokásos működése során keletkező adatvagyont formálják termékké. Példa erre a Magyar Telekom Leading Data programja, amelynek segítségével például anonim lakossági mozgáselemzési adatokhoz lehet hozzájutni, vagy az ingatlan.com hirdetésekre alapuló hazai lakáspiaci adatbázisa.
Budapest Data Fórum
2017. június 12-14.
Budapestdata.hu
