Nvidia пусна с отворен код Flora: 125 пъти по-евтино анотиране на видео за роботика спрямо GPT-6 Astra
Източник: The Decoder / Nvidia Research
Лабораторията за изследвания на Nvidia обяви пускането с отворен код на Nvidia Flora – революционен специализиран модел, проектиран за автоматизирано семантично и пространствено анотиране на видеозаписи (Video Annotation) за обучение на роботи [1]. Според официалните бенчмаркове Flora постига същата прецизност при маркиране на физически траектории като гигантския мултимодален модел GPT-6 Astra, но при 125 пъти по-ниска изчислителна цена.
Основната пречка пред развитието на базовите модели за роботика (Robotics Foundation Models) е острият дефицит на качествени данни. Докато езиковите модели се обучават върху целия публичен интернет, роботиката изисква милиони часове видеозаписи от първо лице, в които всяко движение на пръстите, контактна точка и приложена сила са прецизно етикетирани. Използването на общи търговски мултимодални API за тази цел струва милиони долари на изследователските центрове.
Специализирана геометрия срещу общи езикови модели
Nvidia решава този проблем чрез премахване на излишния лингвистичен баласт. Вместо да поддържа общи разговори за поезия или история, Flora е архитектирана изключително за пространствен интелект (Spatial Intelligence):
- 3D реконструиране на контактни равнини: Моделът трансформира плоски 2D видеокадри в триизмерни облаци от точки, идентифицирайки микроскопичните приплъзвания на обектите при захват.
- Времева интерполация с висока честота: Flora генерира гладки кинематични криви при 60 Hz от нискочестотни сурови видеозаписи, елиминирайки нуждата от скъпи сензори за телеметрия.
- Отворен код и локално разгръщане: Моделът може да се стартира локално върху стандартна работна станция с една RTX 4090 карта, анотирайки хиляди часове видео без облачни лицензионни такси.
Дългосрочни последствия за физическия изкуствен интелект
Пускането на Flora с отворен код ускорява радикално прехода към физически ИИ (Embodied AI). Чрез премахване на финансовата бариера пред обработката на видео, технологията позволява на малки академични лаборатории и стартъпи да обучават хуманоидни роботи директно от свободно достъпни видеоклипове в YouTube.
В дългосрочен план това ще доведе до експлозия в броя на сръчните индустриални роботи, способни да изпълняват комплексни домакински и производствени задачи. Автоматизираното трансформиране на пасивно видео в двигателни умения премахва най-тесното гърло в роботиката, приближавайки момента, в който машините ще могат да усвояват нови манипулации просто като „гледат“ как човек извършва дадено действие.
Четири ключови иновации, осигуряващи 125-кратно намаление на разходите за обучение на роботи