Runway представи Praxis-1: Световен модел за генерация на физическо действие и роботика
Снимка: Runway AI Research
Компанията Runway, известна като пионер в генеративните мултимедийни модели, направи исторически завой към хардуерната индустрия, като представи „Praxis-1“ – първия пълномащабен модел за физическо действие в света (World Action Model - WAM) [1]. Системата обединява ултра-високоскоростна видео генерация с прецизно изчисление на механични сили, превръщайки виртуалните визуализации в директни двигателни команди за хуманоидни и индустриални роботи.
Този архитектурен скок бележи прехода от чисто визуални невронни мрежи към истински физически изкуствен интелект, способен да предвижда и управлява материалния свят.
От симулация на пиксели към симулация на нютони
Традиционните видео модели създават визуално впечатляващи сцени, но страдат от пълно отсъствие на физическо постоянство – предмети изчезват, плътността се променя произволно, а гравитацията често е нарушена. Praxis-1 решава този проблем чрез обединено латентно пространство за световни модели:
- Едновременно предсказване на картина и въртящ момент: За разлика от класическите конвейери, моделът не просто предвижда следващия видеокадър, а изчислява тензор от пространствени вектори (сили на контакт, триене, инерция и въртящи моменти на моторните стави).
- Премахване на симулационната пропаст (Sim2Real): Чрез обучение върху мултимодални записи от милиони часове телеоперации и синтетични физически двигатели, моделът може да пренесе наученото поведение върху реален робот без предварителна калибровка на терен.
- Латентност под 16 милисекунди: Оптимизиран дифузионен трансформатор генерира следващото действие с честота 60Hz, което отговаря на изискванията за управление в реално време на съвременната роботика.
„Досега роботиката и видео генерацията се развиваха в паралелни светове. Praxis-1 доказва, че за да разбереш истински как се движи светът, трябва едновременно да можеш да го визуализираш и да въздействаш върху него,“ посочи главният изследовател на Runway [1].
Тестови резултати: От прецизен монтаж до неструктурирана среда
В публикуваната бяла книга изследователите демонстрират широк спектър от сложни двигателни задачи:
- Манипулация на деформируеми тела: Сгъване на гъвкави материи, захващане на крехки предмети (яйца, стъклени съдове) с автоматично дозиране на силата на натиск.
- Адаптация при неочаквано приплъзване: При загуба на сцепление по хлъзгави повърхности моделът реагира за броени милисекунди, преразпределяйки центъра на тежестта на хуманоида.
- Езиково насочвано планиране: Операторът може да подаде инструкция на естествен език („Подреди инструментите по масата според техния размер“), а моделът сам генерира както визуалния план за движение, така и траекторията на манипулаторите.
Дълбок технически анализ
Значението на Praxis-1 се корени в преодоляването на едно от най-скъпите тесни места в роботиката – събирането на физически данни. Докато езиковите модели разполагаха с целия интернет за обучение, разработчиците на роботи бяха принудени да строят скъпи физически лаборатории с хиляди механични ръце, които бавно събират опит.
Чрез превръщането на видеото в двигател за физическо разбиране, Runway позволява на всяка камера в света да се превърне в източник на данни за обучение на роботика. Това драстично сваля цената за създаване на общоцелеви автономни роботи и поставя основите на следващото поколение интелигентен хардуер за индустрията и домакинствата.
Инфографика: Основни компоненти на модела Praxis-1 за физическо действие и синтез на движение