Nvidia и DDN оптимизират архитектурата на ИИ фабриките за намаляване на цената на токените

В контекста на бързото разрастване на пазара на изкуствен интелект, постигането на реална възвръщаемост на мащабните инвестиции се превръща в основна цел за бизнеса. Според репортаж на SiliconANGLE [1], това изисква дълбока оптимизация и съвместна работа между нивата на данни и изчисления. За целта технологичният лидер Nvidia и разработчикът на високопроизводителни системи за съхранение DDN обявиха стратегическо партньорство за подобряване на икономиката на изчислителната инфраструктура и т.нар. „ИИ фабрики“.

Сблъсъкът с изискванията на агентния ИИ

Появата на агентен ИИ променя из основи изискванията към центровете за данни. За разлика от традиционните чатботове, които обработват единични текстови заявки, автономните агенти изискват непрекъснато захранване с данни и масивна изчислителна мощност, за да поддържат дългосрочно планиране и контекстуална памет.

За да подкрепи тези тежки сценарии, DDN интегрира своите софтуерни платформи за управление на данни със следващото поколение изчислителна архитектура на Nvidia — Vera Rubin. Тази оптимизация елиминира закъсненията при преноса на файлове, които често оставят скъпите графични процесори (GPU) в неактивно състояние, намалявайки общата рентабилност на системите.

Изображение: Svetni.me / Авторско изображение

Ролята на BlueField-4 и цената на токена

Ключов технически елемент в съвместната архитектура е директната интеграция с процесорите за обработка на данни BlueField-4 на Nvidia. Чрез тях DDN захранва нов ускорен слой за Key-Value (KV) кеш съхранение, който е критичен за поддържането на дълга памет по време на извличане и инференция на моделите в производствена среда.

Основната икономическа цел на това съвместно решение е драстичното намаляване на крайната цена за обработка на токен (cost per token) с фактор между 10 и 20 пъти. Намаляването на тези текущи разходи е жизненоважно условие за масовото и финансово изгодно внедряване на изкуствения интелект на корпоративно ниво.

Както подчертава изпълнителният директор на DDN Алекс Бузари, в настоящата фаза на развитие само суровата изчислителна мощност вече не е достатъчна. Истинският успех на модерните ИИ фабрики зависи от това колко ефективно, бързо и сигурно се движат и управляват данните в рамките на целия обединен технологичен стек.

Източници:

[1]: AI investment: How Nvidia and DDN maximize GPUs - SiliconANGLE