Odyssey-3: Генеративен модел на света за интерактивна физика и симулация на триизмерна среда

Интерактивна 3D симулация в реално време, задвижвана от модела на света Odyssey-3. Снимка: The Decoder / Odyssey

Границата между невронното рендериране на видео и класическите физични двигатели в гейминга започва окончателно да се размива. Изследователската лаборатория Odyssey представи Odyssey-3 – ново поколение модели на света, който вече е достъпен за безплатно публично тестване в реално време [1].

За разлика от традиционните генеративни модели за видео като Sora или Kling, които просто предвиждат следващите пиксели на базата на статистически шаблони без разбиране за дълбочина, Odyssey-3 симулира истинска интерактивна триизмерна среда с вградена физична симулация, гравитация и постоянство на обектите [1].

Латенто физично пространство срещу полигонни мрежи

Фундаменталната иновация в архитектурата на Odyssey-3 се крие в изоставянето на класическия конвейер от 3D полигони, текстурни карти и диференциални уравнения за колизии, характерни за двигатели като Unreal Engine и Unity [1]. Вместо това моделът се обучава директно върху огромни масиви от видеозаписи с високо качество, извличайки фундаменталните закони на реалния свят в диференцируемо латентно пространство.

Когато потребителят взаимодейства с демото чрез клавиатура или геймпад, системата генерира нови кадри с латентност под 50 милисекунди, поддържайки строга пространствена 3D реконструкция [1]. Ако играчът заобиколи даден предмет, излезе от стаята и се върне след няколко секунди, предметът остава на абсолютно същото място със същата геометрия и осветление – постижение, с което досегашните дифузионни модели не можеха да се справят.

Революция за Sim2Real обучението в роботиката

Макар визуалното демо да прилича на фотореалистична видеоигра, истинското стратегическо приложение на Odyssey-3 е в сферата на компютърното зрение и автономната роботика [1]. Обучението на хуманоидни роботи и дронове в реалния свят е бавно, опасно и скъпо – всяка грешка води до повреда на скъп хардуер.

Чрез генеративни модели на света инженерите могат да създават милиони синтетични, но физически точни среди само с текстова заявка. Роботът може да бъде поставен във виртуална кухня с нестандартно осветление или разлята течност, където да тества политики за захващане на предмети милиарди пъти, преди крайният софтуер да бъде зареден на физическото устройство. Това скъсява пропастта между симулация и реалност (Sim2Real) от месеци до броени часове.

Технологични перспективи и изчислителни предизвикателства

Odyssey-3 доказва, че следващата голяма вълна в изкуствения интелект няма да бъде текстов чат, а разбиране и симулация на физическата вселена. Въпреки впечатляващите резултати, моделът все още изисква колосални изчислителни ресурси за изпълнение в реално време, налагайки оптимизации чрез квантуване и специализирани ускорители.

С напредването на хардуера моделите на света неизбежно ще заменят традиционните методи за разработка на виртуални светове. Човечеството навлиза в епоха, в която границата между симулираната и реалната реалност ще бъде въпрос единствено на разделителна способност на невронната мрежа.

Инфографика: Светни.ме

Източници

[1]: Odyssey-3 is a new generative world model that you can try for free - The Decoder