Google тества вътрешно нов ултрабърз AI модел с кодово име Hydrogen
Източник: Business Insider / Google
Google DeepMind стартира широкомащабно вътрешно тестване на нов експериментален езиков модел от семейството Gemini, носещ кодовото наименование Hydrogen [1]. Разработката е проектирана с приоритет върху светкавична скорост на отговор и ултраниска латентност при извличане на контекст, запълвайки ключова ниша между масивните разсъждаващи модели и ресурсно-ограничените мобилни архитектури.
Архитектурни иновации и специализация за инференция
Hydrogen използва новаторска разредена експертна архитектура (sparse Mixture-of-Experts) и силно оптимизиран слой за инференция на големи езикови модели. Вътрешните тестове показват, че моделът генерира над 250 токена в секунда при запазване на точността при логически задачи.
Тази скорост е постигната чрез специфично компилиране за петото и шестото поколение TPU процесори на Google, което минимизира латентността при зареждане на междинния кеш на вниманието (KV cache).
Стратегическо приложение в реално време
Инженерите в Google тестват Hydrogen за задачи, изискващи незабавна обратна връзка: гласово асистиране в реално време, интерактивно генериране на код по време на писане в средата за разработка и бързо претърсване на вътрешни бази данни.
Моделът е проектиран да служи и като предварителен филтър (drafting agent) в схеми за спекулативно декодиране, при които по-големият модел само верифицира генерираните хипотези.
Инфографика: Аналитичен преглед на Svetni.me
Конкурентен отговор на фронта на скоростта и оперативните разходи
Появата на Hydrogen отразява промяната в приоритетите на AI лабораториите: от надпревара за абсолютен брой параметри към екстремна ефективност и намаляване на разходите за една заявка. За компаниите, обслужващи стотици милиони потребители дневно, дори малко намаление на времето за инференция носи спестявания от милиони долари в капиталови разходи.
Ако вътрешните тестове преминат успешно, се очаква технологията да бъде интегрирана в комерсиалното портфолио на Google Cloud и потребителските продукти на компанията в началото на 2027 г.