A gépi tanulás (ML) gyakran utánozza az emberi agy működését, virtuális neuronok virtuális szinapszisokkal való összekapcsolásával. A mélytanulás (DL) az ML egy alcsoportja, amely szteroidokat helyez a virtuális agyba, és nagyságrendekkel nagyobbra növeli azt. Ez a neuronszám a számítási teljesítmény fejlődésével együtt az egekbe szökött.
A legtöbb szalagcímben az ML olyan nehéz problémák megoldására, mint az önvezető autók vagy az arcfelismerés, a DL-t használják, de a szteroidoknak ára van. A modell méretének növelése növeli a számítási költségeket, ami korrelál az energiaköltséggel, ami nagyobb szénlábnyomot eredményez - írja a KD Nuggets.
A massachusettsi Amherst Egyetem tudósai 2019-ben a legmodernebb DL-modellek közül néhánynak az energiaköltségét és szén-dioxid-kibocsátását vizsgálták. A tanulmány szédítő üvegházhatású gázkibocsátásról számolt be, és joggal izzította fel a vitát az ML szén-dioxid-kibocsátása körül.
Az MIT tudósai extrapolálták az eredeti tanulmányt, és egy cikkben előrevetítették, hogy a jelenlegi modellek pontosságának legyőzése a modellméret növelésén alapul majd, ugyanúgy, ahogyan az a múltban is történt. A szerzők azt jósolták, hogy egyetlen korszerű modell betanítása hamarosan 100 milliárd dollárba fog kerülni, és akkora lesz a szén-dioxid-kibocsátása, mint New York City-é egy hónap alatt. Nem hitték, hogy ez valaha is bekövetkezik, hiszen 2025-ben 100 milliárd dollárt költeni egy modellre még a jelenlegi inflációs légkörben is abszurd lenne, de ez nem akadályozta meg az olvasókra gyakorolt érzelmi hatást. A gépi tanulás megölné a bolygót!
A vita hatására a Google és a Berkeley Egyetem tudósai vizsgálatot indítottak az eredeti, 2019-es cikk szerzőivel együttműködve. A csapat felülvizsgálta az eredeti tanulmányban szereplő becsléseket, és végül arra a következtetésre jutott, hogy azok pontatlanok. Az ML lábnyoma kisebb, mint gondoltuk, és a jövőt illetően is van okunk óvatosan optimistának lenni.
Az eredeti tanulmány problémája az volt, hogy becsléseket készítettek a becslések tetejére. A több pontatlan feltételezéssel történő extrapolálás exponenciális hibákat halmozhat fel a végeredményben, és ez történt. A 2019-es tanulmányban a szerzők örökölt hardvert, átlagos amerikai adatközpont-hatékonyságot feltételeztek, és félreértették a neurális architektúra-keresés (NAS) használatát. A 2022-es vizsgálat során kiderült, hogy a legújabb tenzorfeldolgozó egységek (TPUv2) sokkal hatékonyabbak, egy rendkívül hatékony hiperscale adatközpontot használtak, és a NAS apró modelleket használt helyettesítő modellként. Ezekkel együtt az eredeti tanulmányban szereplő hiba nagysága 88-szoros volt.
A 2022-es tanulmány a legjobb gyakorlatokat is felvázolja annak érdekében, hogy a jövőben ne öljük meg a bolygót. Nincs tökéletes megoldás, de a hardver ML-re való optimalizálása, a jobb "neurális topológiával" működő modellek kifejlesztése, valamint az ügyfelek számára annak lehetővé tétele, hogy kiválaszthassák a földrajzi helyet, ahol a legzöldebb a számítás, kulcsfontosságú lesz. Azt állítják, hogy e módszerek 2017-2021 közötti alkalmazása máris elképesztő 747-ed részére, azaz 99,998 százalékkal csökkentette a híres Transformer NLP-modell képzésének szén-dioxid-kibocsátását. Ez nem jelenti azt, hogy a probléma örökre megoldódott, mivel a modellek folyamatosan nőnek, de kiegyensúlyozottabb kilátásokat ad.
Az alapvető felfedezés az, hogy nem becsülni, hanem mérni kell. A vad extrapolációk felhívhatják a figyelmet, de a probléma megoldásához megbízható mérőszámokra van szükség. Míg a legnagyobb felhőszolgáltatók olyan eszközöket adtak ki, amelyek feltárják az általános szénlábnyomot, az ML-műveletek éghajlati hatásáról pontos képet alkotva olyan felhő-agnosztikus eszközre van szükség, mint például egy MLOps platform.
"Mindenkinek aggódnia kell a szénlábnyom miatt, de előbb mérje meg helyesen" - mondja Eero Laaksonen, a Valohai vezérigazgatója. A Valohai egy felhő-agnosztikus MLOps platform, amely a felhőszolgáltatók és az adattudósok közötti rétegben helyezkedik el. A felhővel az a probléma, hogy a vállalatok egyetlen felhőszolgáltatóhoz kötik magukat. A mérnökök egyetlen célpontra írnak kódot, és a "felhő átfordítása" lehetetlenné válik. A Valohai absztrahálja a felhőszolgáltatót, és a számítások különböző célokra való terjesztése egy kattintással elvégezhető műveletté válik.
Az ML és DL modellek mérete tovább nőhet, de a jövő fényesebb és zöldebb, mint ahogyan az a szalagcímeket olvasva tűnhet. A hardverek és az adattudomány fejlődése remélhetőleg ellensúlyozni fogja a megnövekedett költségeket, és a nagy felhőszolgáltatók, mint például a Google, elkötelezték magukat amellett, hogy 2030-ra 100 százalékban szénmentes energiával működnek. Addig pedig mérni kell - írja a KD Nuggets.
