Google DeepMind пуска Genie 4: Интерактивен модел на света с реална физика и нативен звук

Източник: Google DeepMind
Изследователската лаборатория Google DeepMind обяви официалната наличност на Genie 4 в рамките на платформата Project Genie [1]. Новият флагмански представител на класа модели на света (World Models), разработен от екипа на Рая Хадсел, Диего Ривас и Ханг Ци, генерира в реално време интерактивни триизмерни светове с висока физическа достоверност и нативна мултимодална аудио синтеза.
Нативна мултимодалност и дългосрочна пространствена памет
За разлика от линейните генератори на видео като Sora, които създават фиксирани видеоклипове без възможност за управление в реално време, Genie 4 конструира динамична среда, реагираща мигновено на действията на потребителя или софтуерния агент при висока кадрова честота. Моделът поддържа постоянна обектна памет (object permanence) за дълги времеви хоризонти — ако агентът промени обект в дадена стая, излезе и се върне минути по-късно, промяната е запазена точно.
За първи път във фамилията Genie четвъртата версия е нативно аудио-визуална: моделът синтезира едновременно пространствената геометрия, реалистичните звуци от физически сблъсъци, фоновата атмосфера и интерактивния гласов диалог с неиграеми персонажи.
Универсален тренажор за въплътени агенти и роботи
Освен за интерактивни развлечения и прототипиране на видеоигри, основната стратегическа мисия на Genie 4 е да служи като безкраен симулационен полигон за обучение с подкрепление (Reinforcement Learning). Чрез генериране на милиони вариации на физически препятствия, метеорологични условия и механични взаимодействия, моделът позволява ефективно трансферно обучение (sim-to-real transfer) на алгоритми за автономна навигация и роботика.
Агентите на DeepMind се обучават да решават непознати пространствени задачи изцяло вътре в синтетичния свят на Genie 4, преди да бъдат прехвърлени върху реален хардуер.
Сливането на игровите енджини и невронната симулация
Пускането на Genie 4 демонстрира, че традиционната граница между класическите 3D графични енджини (като Unreal и Unity) и генеративните невронни мрежи бързо се заличава. Когато един модел може да симулира законите на оптиката, акустиката и механиката на твърдите тела без предварително написан програмен код или ръчно моделирани 3D полигони, създаването на виртуални светове се демократизира напълно.
В по-широк научен план моделите на света като Genie 4 са липсващото звено към общия изкуствен интелект, тъй като дават на системите вътрешен ментален симулатор, в който да предвиждат физическите последици от своите действия преди да ги изпълнят.

Инфографика: Аналитичен преглед на Svetni.me