Cloudflare отвори кода на Clef: модели за детерминистично вземане на решения от AI агенти

Снимка: Cloudflare / InfoQ

По време на своята годишна серия от анонси мрежовият гигант Cloudflare представи Clef — ново семейство специализирани модели с отворени тегла (9B и 27B параметри), проектирани да вземат решения вместо да генерират свободен текст [1].

Проектът атакува един от най-скъпите и неефективни процеси в съвременния софтуер: използването на бавни авторегресивни езикови модели за елементарна логика на пренасочване и избор между фиксирани алтернативи [1].

Инфографика: Светни.ме

Механика на решението: Избор през логитите без генериране на токени

В стандартните агентни системи, когато моделът трябва да реши кой инструмент да извика (напр. база данни, търсачка или платежен портал), той преминава през пълен авторегресивен цикъл на генериране на думи. Това отнема стотици милисекунди и генерира хиляди излишни токени.

Моделите за решения (Decision Models) Clef работят коренно различно: те анализират контекста и оценяват вероятностите директно върху ненармализираните изходни логити (logits) на предварително зададени опции в рамките на едно-единствено директно преминаване (single forward pass). Това гарантира 100% валиден избор без синтактични грешки и намалява времето за реакция с над 90%.

Глобална оркестрация на ръба на мрежата

Моделите са оптимизирани за разполагане директно върху глобалната разпределена сървърна мрежа на Cloudflare Workers AI в над 330 града по света. Това позволява на автономните агенти да вземат решения на милисекунди разстояние от крайния потребител в рамките на периферния AI (Edge AI).

Платформата включва и специален инструментариум за адаптация, позволяващ на разработчиците да настройват теглата за специфични класификационни задачи и политики за оркестрация на агенти само с няколко десетки примера.

Дълбок технически анализ: Разделянето на мисълта и действието в мулти-агентния контролен поток

Инициативата на Cloudflare маркира важен етап в съзряването на софтуерния инженеринг за AI: декуплирането на когнитивните разсъждения от контролния поток на системата. В компютърните науки смесването на бизнес логиката за вземане на решения с генерирането на неструктуриран свободен текст се счита за опасен антимодел.

Когато един генеративен LLM отговаря за контрола на потока, системата остава уязвима на халюцинации и промпт инжекции, които могат да пренасочат изпълнението към опасни вътрешни функции.

Моделите от типа на Clef възстановяват детерминизма в софтуерните архитектури. Те действат като интелигентни маршрутизатори, които гарантират математически предвидимо поведение на системно ниво, запазвайки скъпите генеративни модели само за задачи, които наистина изискват творчески синтез на свободен език. Това прави мулти-агентните системи устойчиви, проверими и икономически ефективни в мащаб.

Източници

[1]: Cloudflare Open Sources Decision Models for AI Agents - InfoQ