NVIDIA и Hugging Face обединяват сили: Пълна интеграция на Isaac GR00T, Isaac Teleop и Cosmos в LeRobot
В публикация на официалния корпоративен блог на технологичния гигант NVIDIA беше обявено мащабно партньорство с платформата за изкуствен интелект Hugging Face [1]. Двете компании обединяват своите ресурси, за да интегрират водещия базов модел за хуманоидна роботика Isaac GR00T 1.7 и софтуерната рамка за дистанционно събиране на данни Isaac Teleop в LeRobot – библиотеката с отворен код на Hugging Face за роботика. В близко бъдеще се планира и интеграцията на моделите от фамилията Cosmos 3. Тази съвместна инициатива цели да предостави на глобалната общност от разработчици по-достъпен, стандартизиран и ефикасен път за разработка от край до край на системи с физически изкуствен интелект (physical AI) и хуманоидни роботи [1].
Изображение: Svetni.me / Авторско изображение
Мост между две огромни общности от разработчици
Развитието на физическия изкуствен интелект често е възпрепятствано от високи разходи и фрагментирани ресурси – от липса на достатъчно големи масиви от данни (datasets) до липса на съвместимост между симулационните инструменти, изчислителните платформи и хардуерните устройства.
Партньорството свързва над 3 милиона разработчици на роботика от екосистемата на NVIDIA с над 16 милиона AI строители в Hugging Face. Чрез това сливане общността получава отворен и стандартизиран тръбопровод (pipeline) за събиране на данни, обучение на невронни мрежи, валидация в симулации и реално хардуерно внедряване [1].
Ключовите компоненти на интеграцията
Интеграцията на технологиите на NVIDIA в софтуерната библиотека LeRobot се базира на три основни стълба:
1. NVIDIA Isaac Teleop: Стандартизация на данните от демонстрации
NVIDIA Isaac Teleop е софтуерна рамка с отворен код за събиране на данни за движение на роботи. Тя помага на изследователите да улавят висококачествени човешки демонстрации в реално време чрез външни устройства (като VR контролери или камери). С новата интеграция тези данни се преобразуват автоматично в стандартизирани, взаимно съвместими формати директно в LeRobot, което улеснява споделянето на демонстрационни масиви с общността [1].
2. NVIDIA Isaac GR00T 1.7: Отворен базов модел за управление
Isaac GR00T 1.7 е първият отворен и търговски приложим базов модел за хуманоидни роботи от тип VLA (Vision-Language-Action). Моделът е проектиран да разсъждава и да транслира визуални и текстови инструкции в реални физически действия. Благодарение на интеграцията, разработчиците могат да дообучават (fine-tune), оценяват и адаптират GR00T 1.7 към нови видове роботизирани тела и задачи, използвайки познатите работни процеси на LeRobot [1].
3. NVIDIA Cosmos 3: Генеративни модели на света
Планираният за следващ етап NVIDIA Cosmos 3 е усъвършенстван базов модел на физическия свят (world foundation model). Той ще позволи на разработчиците да генерират и разширяват тренировъчни данни чрез синтетично генериране на видеоклипове и симулиране на физически сценарии. Това е критично важно за случаите, в които събирането на реални физически данни е твърде скъпо или опасно [1].
Затваряне на цикъла: Симулация и хардуерно внедряване
Освен трите основни стълба, съвместната платформа се възползва и от редица допълнителни инструменти на NVIDIA:
- Най-големият отворен масив от данни за physical AI: С над 15 милиона изтегляния, този масив съдържа над 350 000 реални и симулирани траектории на движение и 57 милиона успешни захвата (grasps).
- Симулационни среди Isaac Sim и Isaac Lab: Позволяват физически точна симулация за тестване на алгоритми преди пускането им на физически машини.
- Isaac Lab-Arena в LeRobot Environment Hub: Потребителите могат бързо да създават сложни симулации, да ги регистрират в EnvHub на LeRobot и да ги използват за оценка на модели като GR00T, Pi и SmolVLA.
- NVIDIA Jetson Thor и Reachy 2: За пълно затваряне на цикъла, изчислителната платформа за роботи NVIDIA Jetson Thor е напълно интегрирана с отворената хуманоидна платформа Reachy 2 на Pollen Robotics (поддържана от Hugging Face), позволявайки директно изпълнение на VLA моделите на реален хардуер [1].
Значение за общността
Отворената наука и споделянето на модели доказаха своята роля за експлозивния растеж на генеративния изкуствен интелект. С тази стъпка NVIDIA и Hugging Face се опитват да пренесат същия модел на сътрудничество и бърза итерация и в сферата на роботиката. Стандартизацията на данните и споделянето на базови модели като GR00T дават шанс на по-малки екипи и изследователски лаборатории да работят на световно ниво, без да се нуждаят от ресурсите на огромни технологични корпорации.
Източници
- Официално съобщение на NVIDIA: NVIDIA and Hugging Face Partner to Bring Frontier Physical AI Models and Workflows to LeRobot