A Cornell Egyetem mérnökei olyan új, viselhető eszközt fejlesztettek ki, amely szonár segítségével képes megfigyelni egy személy arckifejezéseit, és azokat egy digitális avataron újraalkotni. A kamerák eltüntetése a megfigyelőrendszerekből enyhíthet az adatvédelmi aggályokon.
Az EarIO, ahogy a csapat nevezi az eszközt, egy fülhallgatóból áll, amelynek mindkét oldalán mikrofon és hangszóró található, és bármelyik hagyományos fejhallgatóra felcsatolható. Mindegyik hangszóró az emberi hallás tartományán kívül eső hangimpulzusokat bocsát ki a viselője arca felé, a visszhangokat pedig a mikrofonok veszik fel.
A visszhangprofilokat kissé megváltoztatja az, ahogyan a felhasználó bőre mozog, megnyúlik és ráncosodik, amikor különböző arckifejezéseket vág, vagy beszélgetés közben. A speciálisan képzett algoritmusok képesek felismerni ezeket a visszhangprofilokat, és gyorsan rekonstruálni a felhasználó arckifejezését, és megjeleníteni azt egy digitális avatáron.
"A mesterséges intelligencia ereje révén az algoritmus olyan összetett kapcsolatokat talál az izommozgás és az arckifejezések között, amelyeket az emberi szem nem képes azonosítani. Ezt felhasználhatjuk arra, hogy olyan összetett információkra következtessünk, amelyeket nehezebb megragadni az arc teljes elülső részén" - mondta Ke Li, a tanulmány társszerzője a New Atlas szerint.
A kutatócsoport 16 résztvevőn tesztelte az EarIO rendszert, az algoritmust egy hagyományos okostelefonon futtatva. És valóban, az eszköz körülbelül olyan jól tudta rekonstruálni az arckifejezéseket, mint egy hagyományos kamera. A háttérzajok, mint a szél, a beszéd vagy az utca zaja nem zavarta az arcok regisztrálásának képességét.
A szonárnak a csapat szerint van néhány előnye a kamerával szemben. Az akusztikus adatok sokkal kevesebb energiát és feldolgozási teljesítményt igényelnek, ami azt is jelenti, hogy az eszköz kisebb és könnyebb lehet. A kamerák rengeteg más személyes adatot is felvehetnek, amelyeket a felhasználó esetleg nem akar megosztani, így a szonár sokkal privátabb lehet.
A technológia azáltal, hogy a segítségével a fizikai arckifejezésünket egy digitális avatárban reprodukálhatjuk, a játékok, a VR vagy a metaverzum területén számos gyakorlati felhasználást találhat. A csapat szerint további munkára van még szükség, hogy a többi zavaró tényezőt (például azt, amikor a felhasználó elfordítja a fejét) kikapcsolják, és hogy a mesterséges intelligencia algoritmus képzési rendszerét racionalizálják.
A kutatás a Proceedings of the Association for Computing Machinery on Interactive, Mobile, Wearable and Ubiquitous Technologies című folyóiratban jelent meg.
