Cerebras разгърна модели с трилион параметри върху своята гигантска полупроводникова пластина WSE
Източник: Peellden / Wikimedia Commons
Полупроводниковият пионер Cerebras обяви исторически етап в хардуерната инфраструктура за изкуствен интелект: успешното разгръщане и обслужване в реално време на модели с трилион параметри (Trillion-Parameter Models) върху суперкомпютърната система CS-3, задвижвана от монолитния чип Wafer-Scale Engine (WSE) [1].
При конвенционалните клъстери от графични процесори разгръщането на модел с един трилион параметри изисква раздробяване на теглата на слоеве между десетки или стотици отделни GPU чипове. Това неизбежно води до „тесното гърло на комуникацията“, при което чиповете прекарват повече време в очакване на данни през медни и оптични кабели, отколкото в реални матрични изчисления. Cerebras елиминира този лимит, побирайки целия изчислителен граф върху един колосален силициев чип с размерите на цяла вафла.
Рекордна пропускателна способност и интеграция на SRAM паметта
Успехът на Cerebras се дължи на радикално различен архитектурен подход към пропускателната способност на паметта (Memory Bandwidth):
- 44 гигабайта свръхбърза вградена SRAM памет: Чипът WSE разполага с вътрешна памет, разположена директно до 900 000 изчислителни AI ядра, постигайки пропускателна способност от 21 петабайта в секунда – хиляди пъти над най-бързата HBM3e памет.
- Елиминиране на тензорния паралелизъм: Цялата невронна мрежа се зарежда и изпълнява с линейна скалируемост, постигайки генерация от над 1800 токена в секунда за ултраголеми модели.
- Енергийна ефективност при хардуерно ускорение (Hardware Acceleration): Тъй като електроните не трябва да напускат пределите на силициевата пластина, консумацията на енергия за предаване на един бит данни намалява с над 90%.
Дългосрочни системни и полупроводникови последици
Постижението на Cerebras демонстрира, че фундаменталните физически ограничения на класическия дизайн с отделни малки чипове могат да бъдат преодолени чрез смели полупроводникови иновации. Докато гиганти като NVIDIA и AMD залагат на сглобяване на чиплети (chiplets) върху общи подложки, монолитният wafer-scale дизайн доказва безапелационно превъзходство при инференс на гранични невронни мрежи.
В дългосрочен план успехът на моделите с трилион параметри върху WSE ще промени архитектурата на изкуствения интелект в реално време. Възможността за светкавичен инференс при свръхголеми модели отключва приложения, които досега бяха невъзможни: дълбоко медицинско диагностициране по време на хирургическа операция, мигновен анализ на световните финансови потоци и пълноценен диалогов интелект без никакво забавяне в отговора.
Четири ключови технологични превъзходства на Wafer-Scale Engine при трилионни модели