Talend - az adatintegráció és adatbetöltés open source bajnoka

Az üzleti élet szereplői a klasszikus adatintegráció, adatmozgatás problémájával leginkább közvetve találkoznak. Elsősorban az informatikusok és adatbázis adminisztrátorok területe ez; a jellemzően nagy mennyiségű adatok mozgatása és transzformálása különböző informatikai rendszerek között. Jó példa erre az ügyviteli rendszer és a CRM rendszer között az ügyféladatok mozgatása, vagy az alaprendszerek és az adattárház, adatpiac közötti áttöltések. Controllerként sem megkerülhető kérdésről van szó, gondoljunk csak a tervezés bázis adataira, egy létszám modell drivereire vagy a költségallokáció kérdésére. Ezen feladatok kisebbik része úgy-ahogy még kezelhető táblázatkezelővel vagy kisebb adatbázisokkal (pl. Microsoft Access), de a nehézkes használat mellett számos egyéb problémát is felvet (adatbiztonság, teljesítmény, megbízható-ság) a hasonló eszközök alkalmazása. Egy céleszköz biztosítja azt a keretrendszert, ami lehetővé teszi az adatok tervezett, ellenőrzött, ütemezett, hatékony mozgatását a különböző adatbázisok, rendszerek között. Ez a mondat elsőre nem biztos, hogy sokat mond, de aki próbált már saját maga pl. terméktörzset karbantartani vagy minden hét adott napján, adott időre excelen keresztül vagy informatikusként adhoc összerakott, kézileg futtatott SQL utasításokkal adatokat mozgatni, az tudja értékelni a fenti jelzőket. Nem meglepetés, hogy a nagy informatikai szállítók (Oracle, SAP, IBM, stb.) mind rendelkeznek professzionális megoldással, melyek viszont egyrészt jellemzően a saját házuk felé húznak, másrészt igen költségesek. A gyakorlatban ez azt jelenti, hogy pl. Oracle adatbázisból gyorsan nagy mennyiségű adatot Microsoft adatbázisba áttölteni nem tudunk, SAP adatok (gyors, hatékony) kinyeréséhez meg szinte minden esetben különálló, igen költséges komponenst kell vásárolnunk. Adott tehát három kérdés, amivel már egy magyarországi KKV-nak is szembe kell néznie: Mi az az eszköz, - amivel megbízhatóan, szabályozott és ellenőrizhető keretek közt tudunk adatokat mozgatni a rendszereink között? - ami ez elterjedt rendszerek, adatbázisok széles körét támogatja? - ami belefér a büdzsébe? Az ilyen típusú felvetésekre vonatkozik az ismert vicc, hogy a háromból csak kettőt kaphat meg az ember. Az open source, s jelen kontextusban a Talend pontosan erre cáfol rá. Nagyvállalati szintű megoldást nyújt (nem véletlen, hogy a beszerzéseknél iránymutató Gartner Data Integration Magic Quadranton is szerepel), erős vállalati háttérrel (most már dedikált magyarországi partnerén, a Starchema Kft.-n keresztül is), rengeteg rendszert támogat (a cikk írásakor már több száz adatforrást), s az alapváltozat ingyenesen elérhető. S itt ne csak egy kóstoló szintű alapváltozatra gondoljunk, hanem egy, az alapvető funkciót teljesen ellátó megoldásra. A feljebb pozícionált verziók jelentős, az adott szintnek (team – osztály, kisebb csapat, professional – informatikai üzemeltetés, enterprise – nagyvállalati szinten teljesítmény kritikus rendszerek) megfelelő többlet funkcionalitást nyújtanak. Sőt, hogy teljes legyen a kép, látni kell, hogy a Talend szoftverei több kapcsolódó témakört is lefednek: • operatív adatintegráció (adatmigráció, -szinkronizáció, stb.) • döntéstámogató rendszerek adattöltése (más néven ETL) • adatprofilírozás és adattisztítás Kis kitekintést mindenféleképpen érdemes tennünk a hamadik témakör irányába. Az adat profilírozás a rendelkezésre álló adatok részletes, jellemzően statisztikai elemzése. Ez önmagában egy sokrétű téma, amiből most az adattisztítás fókuszában lévő kérdést, az adatminőséget nézzük meg röviden. Az adatok megfelelő minőségűek, ha megfelelnek az operatív működés, a döntéstámogatás és a tervezés igényeinek (szabadfordítás J.M.Juran után). A legtöbb szervezet nem foglalkozik tudatosan az adatminőség kérdésével, csak eseti jelleggel fut bele a kérdésbe (pl. ügyfelek azonosítása, termék-kódok, devizaváltás, hiányzó/hibás jellemzők, stb.), a téma viszont sokkal komolyabb odafigyelést igényel a jelentős operatív kockázat miatt. Talán ismerős az a történet, amikor a Marsra érkező műhold leszállás helyett becsapódott, mert a NASA egyik mérnöke méter helyett lábban adott meg egy adatot. Az adatok áttöltése, mozgatása kiváló alkalmat nyújt arra, hogy az ilyen hibákat, kockázatokat kezeljük, és még időben megfogjuk. A Talend Open Profiler eszközével lehetőséget ad nagyobb szoftver-beruházás nélkül is a témában való elmélyülésre és az első lépések megtételére. Az elmondottak alapján látható, hogy az adatintegráció az a niche piac illetve témakör, ahol az open source eszközök nem csak egy újabb, sokadik szereplőként jöhetnek szóba, hanem – mint az információra épülő gazdaság alapvető adat infrastruktúrájának elsődleges kiszolgálói. A teljes cikk a Controlling Portálon olvasható: www.controllingportal.hu