A Wall Streeten az oszlopszintű tárolás hódít

Az elmúlt héten a Wall Street and Technology figyelemfelkeltő írást közölt a Sybase (NYSE: SY) sikertermékéről, az oszlopszintű adattárolást alkalmazó Sybase IQ-ról. Penny Crosman szakértővel a Sybase pénzügyi rendszerek fejlesztésért felelős Gavin Quinn beszélgetett, és adott rövid betekintést az IQ lehengerlő teljesítménye mögött álló technológiáról. Quinn szerint a Sybase IQ látványos sikere mögött a pénzügyi, kereskedelmi jellegű adatok mennyiségének exponenciális robbanása és a MiFID* miatt megnövekedett tárhelyigény kombinációja áll. „Ha adatainkat olyan adatbáziskörnyezetben tároljuk, amely nem egyformán felkészült a piaci adatok és az idősorok kezelésére, az csillagászati költségeket eredményezhet” – mutatott rá Quinn. „A régebbi adatok hagyományos archiválása, mint például a szalagra mentés, pedig összehasonlíthatatlanul lassabb és nehézkesebb annál, mint amit a törvényi szabályozások megkövetelnek” – tette hozzá. „A Sybase oszlopfolytonos adattárolását viszont pontosan arra tervezték, hogy korlátlanul biztosítsa hatalmas adatmennyiség – ez alatt petabájtokra kell gondolni – online rendelkezésre állását. Ennek kulcsa a tárolás hatékonyságában rejlik.” Mi is ez a kulcs? Egy hagyományos relációs adatbázis az adatokat sorfolytonosan tárolja, amelyekhez, hogy lekérdezhetővé váljanak, indexeket kell kapcsolni. Ez, valamint a sorfolytonosságból adódóan redundánsan tárolt adatok számottevően megnövelik az adatbázis méretét. Az oszlopfolytonos adattárolás csak a változó adatokat adja hozzá egy-egy oszlophoz, ráadásul, mivel bármely oszlop lehet index, a lekérdezéseknek nem kell végigolvasniuk az egész sort, csupán a megfelelő oszlop kiválasztott értékét, így az adatgyűjtés is nagyságrendekkel gyorsul. Általánosságban szólva, ha a nyers adatok 100 gigabájtos tárhelyet foglalnak el, akkor a Sybase IQ körülbelül 20 gigabájton fogja azokat tárolni. Egy sorfolytonos, hagyományos adatbázisban a 100 GB nyers adat tárolása 400-1200 GB-ot emésztene fel. Quinn azt is hozzátette, hogy a Sybase IQ – amely egyébként szabványos SQL nyelvet használ – töredékmásodpercek alatt képes az adat tárolására és kiolvasására, ezáltal valósidejű analízisekre is alkalmas. A BNP Paribas például portfolió-teljesítményjelentések készítésére használja a Sybase IQ-t. A különböző forrásokból származó adatokból havonta átlagosan 200 ezer ilyen jelentés készül, amelyekhez több mint 10 ezer ügyfél és belső dolgozó fér hozzá. A BNP Paribas kimutatása szerint a Sybase IQ tömörítése felére csökkentette az adatbázisok méretét, így most akár 10 év összesített pénzügyi adatát tudják folyamatosan elérhető módon felhasználni az összetett elemzések készítéséhez. bővebb információ a Sybase IQ-ról: http://www.sybase.hu/termekek/sybaseiq [* MiFID (Markets in Financial Instruments Directive – a pénzügyi eszközök piacaira vonatkozó direktíva): európai uniós direktíva, amely az egységesen szabályozott EU-s környezet és az átlátható kereskedés érdekében szabályokat ír elő a befektetési cégek számára.] Eredeti cikk: http://www.wallstreetandtech.com/blog/archives/2008/03/columnbased_dat.html