Cerebras представя дезагрегиран инференс върху пластинни процесори за рекордна скорост на LLM

Публикувано от Svetni.me Editorial на 18 ноември 2026 г. в Изкуствен интелект

Пластинният процесор Wafer-Scale Engine на Cerebras Systems в високопроизводителен сървърен клъстер
Източник: Cerebras Systems

Пионерът в компютърните системи на ниво цяла силициева пластина Cerebras представи своята нова архитектура за дезагрегиран инференс (Disaggregated Inference) [1]. Системата разделя двете фундаментално различни фази на инференса при големите езикови модели — първоначалната обработка на входния промпт (prefill) и последователното генериране на отговора (decode) — върху специализирани възли с пластинни чипове (Wafer-Scale Chips).

Преодоляване на конфликта между Prefill и Decode

При традиционното обслужване на езикови модели един и същ хардуерен възел изпълнява и двете фази на заявката. Фазата prefill обработва паралелно хиляди входни токени и е изцяло ограничена от изчислителната мощ (compute-bound), докато фазата decode генерира по един токен на стъпка и е ограничена от пропускателната способност на паметта (memory-bandwidth-bound).

Когато нови дълги промптове прекъсват текущото генериране на токени на същия чип, възникват резки скокове в латентността. Архитектурата на Cerebras отделя възлите за prefill от тези за decode и прехвърля междинния KV кеш (Key-Value Cache) по свръхбърза вътрешна връзка на ниво пластина.

Предимството на вградената SRAM памет в Wafer-Scale Engine

Дезагрегираният инференс получава уникално ускорение върху процесорите Wafer-Scale Engine (WSE-3) на Cerebras, тъй като целият модел се съхранява във високоскоростна локална SRAM памет върху самата силициева пластина, осигуряваща петабайти в секунда пропускателна способност.

Чрез независимото мащабиране на броя prefill и decode пластини според профила на трафика (например агентни заявки с огромен входен контекст или дълги вериги на разсъждение), облакът на Cerebras постига многократно по-ниско време до първия токен (TTFT) при запазване на скорост от над 2000 изходни токена в секунда.

Специализацията на хардуерните топологии за агентни работни потоци

Въвеждането на дезагрегиран инференс от Cerebras потвърждава, че ерата на универсалните хомогенни клъстери за инференс отминава. Съвременните автономни агенти за програмиране и научен анализ изпращат стотици хиляди токени контекст и генерират дълги вътрешни монолози, което натоварва асиметрично паметта и аритметичните ядра.

Разделянето на фазите върху специализиран силиций позволява на инфраструктурните оператори да извличат максимална икономическа ефективност от всеки ват енергия, превръщайки ултрабързия инференс в ключово конкурентно предимство.

Cerebras стартира архитектура за дезагрегиран инференс
Инфографика: Аналитичен преглед на Svetni.me

Източници

  1. Cerebras Disaggregated Inference - Cerebras Systems Blog