Eddig a robotok vizuális információk alapján voltak képesek megérteni a körülöttük lévő világot, de a kontextus megértése révén nem sok mindent tudnak érzékelni. Például nem voltak képesek megérteni és helyesen felmérni a más tárgyak által eltakart tárgyak kontextusát. A nem látott objektumok tudatos szegmentálása azonban kulcsfontosságú a robotok jövőbeli működése és navigációja szempontjából, de eddig kihívás volt a gépeket erre megtanítani.
A robotok nem értették a teljes eltakarás és részben kitakarás árnyaltságát, egészen mostanáig. A kutatók azt állítják, hogy bár a korábbi munkákkal biztató eredményeket értek el, azok arra korlátozódtak, hogy a nem teljesen látható tárgyaknak csak a látható régióit szegmentálják.
"A rendezetlen jelenetben történő robotmanipulációhoz amodális észlelésre van szükség a másik tárgyak mögött elrejtett objektumok kezeléséhez" - írják a kutatók. A csapat egy általuk Hierarchical Occlusion Modeling (HOM) nevű sémát javasolt. Ebbe a rejtett objektumokról úgy gondolkodik a robot, hogy "hierarchiát rendel a funkciófúzióhoz és az előrejelzési sorrendhez".
Röviden, miután sikerült megértetniük a robottal, hogy az akadályozó tárgyak mögött folytatva az útjukat elérhetnek más tárgyakat, képesek voltak betanítani őket az előtérben lévő tárgyak eltávolítására, hogy elérjék a mögöttük lévő megcélzott tárgyat. Módszerüket három környezetben tesztelték: asztalon, beltérben és tárolóhelyeken. Voltak lenyűgöző eredmények, de voltak olyanok is, amikor a robot nem működött, különösen, ha összetett környezetet vagy hátteret kellett értelmezniük. E technológia következményei jelentős hatással lehetnek a jövőben a kamerák fejlesztésére. Az ehhez hasonló megoldások ugyanis tovább növelhetik a pontosságot és a követési képességeket - számolt be a Petapixel.
