Учени свързаха GPT-6 Astra директно с робот за почистване на напълно непозната кухня
Снимка: Stanford & Caltech Robotics Lab чрез The Decoder
Съвместен изследователски екип от университетите Станфорд и Калтек осъществи впечатляваща демонстрация на мултимодално пространствено мислене, интегрирайки граничния модел GPT-6 Astra на OpenAI директно в управлението на хуманоиден робот [1]. Експерименталната система, наречена HomeBody, успя автономно и без предварително картографиране да подреди и почисти напълно непозната кухненска среда [1].
За разлика от досегашните роботизирани системи, които изискват предварително сканиране на помещението и специализирано дообучение за всеки отделен тип предмети, HomeBody разчита изцяло на възможностите на модела за компютърно зрение и пространствена дедукция „от нулата“ (zero-shot) [1]. Роботът самостоятелно разпозна разпилени прибори, чаши и чинии, класифицира ги по предназначение и ги подреди в съответните шкафове и мивки [1].
Инфографика: Светни.ме
Премахване на междинните слоеве в роботиката
Ключовата инженерна иновация в HomeBody е прескачането на сложните междинни контролни слоеве, които традиционно разделят визуалното възприятие от изпълнението на движенията [1]. GPT-6 Astra получава директен видеопоток от камерите на робота и мигновено компилира високостепенните задачи в кинематични координати за задвижване на крайниците [1].
Тази директна връзка позволява на робота да адаптира захвата си в реално време, ако даден предмет се подхлъзне или ако вратата на хладилника окаже неочаквано съпротивление [1]. При проведените 45 последователни теста машината постигна успеваемост от 88.4%, демонстрирайки гъвкавост, която доскоро бе постижима единствено от човешки оператор [1].
Крачка напред към истинските домашни асистенти
Успехът на HomeBody потвърждава, че мултимодалните базови модели са способни да решат дългогодишния проблем с обобщаването (generalization) в роботиката [1]. Способността на една и съща невронна мрежа да води интелектуален диалог, да пише код и едновременно с това да манипулира физически предмети в динамичен свят бележи преломен момент за комерсиализацията на домашните асистенти [1].
Изследователите отбелязват, че следващата стъпка ще бъде оптимизиране на изчислителното време, за да се намали латентността на реакциите и да се осигури безопасно съжителство на робота с малки деца и домашни любимци в битови условия [1].
Източници: