A gépi tanulás komoly hardvert kíván, ezért a telefonokhoz hasonló "peremeszközök" gyakran küldenek nyers adatokat a központi szerverekre, amelyek aztán betanított algoritmusokat küldenek vissza. Egyesek azt szeretnék, ha ez a képzés helyben történne. Egy új mesterséges intelligencia képzési módszer kibővíti a kisebb eszközök képzési képességeit, ami segíthet a magánélet védelmében - írja az IEEE Spectrum.
A legerősebb gépi tanulási rendszerek neurális hálózatokat használnak, összetett függvényeket, amelyek tele vannak hangolható paraméterekkel. A képzés során a hálózat kap egy bemenetet, például egy pixelhalmazt, létrehoz egy kimenetet, például a "macska" címkét, összehasonlítja a kimenetet a helyes válasszal, és beállítja a paramétereit, hogy legközelebb jobban teljesítsen. Ahhoz, hogy tudja, hogyan kell beállítani az egyes belső értékeket, emlékeznie kell az egyes beállítások hatására, amelyek száma rendszeresen több millió, sőt milliárd is lehet. Ez rengeteg memóriát kíván. Egy neurális hálózat kiképzéséhez több százszor annyi memória kell, mint a puszta használata, ahol a hálózat minden egyes rétege elfelejtheti, hogy mit csinált, amint átadja az információt a következő rétegnek.
A memóriaigény csökkentésére a kutatók néhány trükköt alkalmaztak. Az egyikben, az úgynevezett pagingben vagy offloadingban a gép ezeket az aktiválásokat a rövid távú memóriából egy lassabb, de bőségesebb memóriatípusba, például flash vagy SD-kártyára helyezi át, majd szükség esetén visszahozza. Egy másik, úgynevezett rematerializálás során törli az aktiválásokat, majd később újra kiszámítja őket. A korábbi memóriacsökkentő rendszerek e két trükk egyikét használták, vagy "heurisztikák" segítségével kombinálták őket, amelyek "szuboptimálisak" voltak, és gyakran sok energiát igényeltek. Az új munka formalizálja a lapozás és a rematerializálás kombinációját - magyarázta Shishir Patil, a Berkeley egyetem informatikusa, a kutatás vezetője.
Patil júliusban, Baltimore-ban, a Nemzetközi Gépi Tanulási Konferencián mutatta be POET (Private Optimal Energy Training) nevű rendszerét. Először megadja a POET-nek egy eszköz műszaki adatait és egy neurális hálózat felépítését, amelyet be akar tanítani. Megad egy memória- és egy időköltségvetést. Ezután megkéri, hogy hozzon létre egy olyan képzési folyamatot, amely minimalizálja az energiafelhasználást. Lehet, hogy úgy dönt, bizonyos aktiválásokat, amelyek újraszámítása nem lenne hatékony, ki kell lapozni, másokat pedig újra materializálni, amelyeket egyszerű újra elvégezni, de sok memóriát igényel a tárolásuk.
Az egyik kulcs az volt, hogy a problémát MILP (Mixed Integer Linear Programming) feladványként, azaz a változók közötti korlátok és kapcsolatok halmazaként definiálták. A POET minden egyes eszköz és hálózati architektúra esetében a változókat beilleszti Chen kézzel készített MILP-programjába, majd megtalálja az optimális megoldást. "A fő kihívást az jelenti, hogy a problémát szépen megfogalmazzuk, hogy aztán be lehessen táplálni egy megoldóprogramba. Így megragadhatod az összes reális rendszerdinamikát, például az energiát, a késleltetést és a memóriát" - mondta Jiasi Chen, a Kaliforniai Egyetem (Riverside) informatikusa.
A csapat négy különböző eszközön tesztelte a POET-et, a fitnesz-nyomkövetőktől kezdve egészen a divatos okostelefonokig. Mindegyiken három különböző neurális hálózati architektúrát képeztek ki: két, a képfelismerésben népszerű típust (VGG16 és ResNet-18) és egy népszerű nyelvfeldolgozó hálózatot (BERT). A tesztek nagy részében a memóriahasználatot mintegy 80 százalékkal sikerült csökkenteni anélkül, hogy az energiafelhasználás növekedett volna, míg az összehasonlító módszerek mindkettőre nem voltak képesek egyszerre. Patil szerint a BERT most már a legkisebb eszközökön is működhet, ami korábban lehetetlen volt.
"Amikor elkezdtük, a POET leginkább egy aranyos ötlet volt" - mondta Patil. Mostanra már több vállalat is jelentkezett, hogy szeretné használni, és legalább egy nagyvállalat kipróbálta az okos hangszórójában. Patil szerint az egyik dolog, ami tetszik nekik, hogy a POET nem csökkenti a hálózat pontosságát azáltal, hogy "kvantálja", vagyis lerövidíti az aktiválásokat a memória megtakarítása érdekében. Így a hálózatokat tervező csapatoknak nem kell egyeztetniük a hálózatokat megvalósító csapatokkal a pontosság és a memória közötti kompromisszumokról.
Patil szerint az adatvédelmi aggályokon kívül más okok is vannak a POET használatára. Egyes eszközöknek helyben kell hálózatokat képezniük, mert alacsony vagy semmilyen internetkapcsolatuk sincs, például a farmokon vagy a tengeralattjárókon. Másoknak azért van erre szükségük, mert az adatátvitel túl sok energiát kíván. A nagy eszközök - az internetes szerverek - is hasznát vehetik a POET-nek, amikor óriási hálózatokat képeznek ki. Ami pedig azonban az adatok privát voltának megtartását illeti, az (nem csak) Patil szerint nagyon időszerű.
