Runway трансформира генерирането на видео в интерактивен стрийм в реално време

Изображение: Svetni.me / Авторско изображение

Компанията Runway представи концептуален пробив в генеративните медии, демонстрирайки технология, която превръща създаването на синтетично видео в интерактивен стрийминг в реално време, съобщава The Decoder [1].

Досега видео генерацията се базираше на пакетно рендиране, при което потребителят въвежда подкана и изчаква няколко минути за генерирането на кратък отрязък от няколко секунди. Новата архитектура позволява динамично навигиране и визуално управление на сцената в реално време [1].

Изображение: Svetni.me / ИИ генерирана инфографика

От статични клипове към интерактивни симулации

Подходът разчита на съвременни архитектури за дълбоко обучение, оптимизирани за ултраниска латентност. Потребителите могат да променят ъгъла на камерата, осветлението и обектите в кадъра по време на самата генерация.

Тази технология размива границата между видео синтеза и игровите графични енджини, създавайки първообраз на адаптивни виртуални светове [1]:

• Управление на потока: Възможност за директно въздействие върху събитията в кадъра чрез входни контролери или гласови команди.

• Последователност на физиката: Поддържане на времева и физическа кохерентност при продължително генериране на сцени.

Бъдещето на дигиталното разказване на истории

Технологичният скок на Runway сигнализира за преход към изцяло адаптивно медийно съдържание.

Индустриалните експерти отбелязват, че поточното генериране на интерактивни светове ще окаже дълбоко въздействие върху гейминга, виртуалното кино и виртуалната реалност през следващите години.

Източници:

[1]: Runway wants to turn AI video generation into a live stream you control in real time - The Decoder