Cloudflare пусна CLEF: Маршрутизиращ модел без нужда от човешка намеса за edge агенти
Снимка: Cloudflare Systems Architecture
Мрежовият гигант Cloudflare представи революционния си отворен модел CLEF (Contextual Low-latency Edge Forwarder), предназначен да реши най-голямото инфраструктурно предизвикателство в съвременната архитектура на агенти: интелигентното и светкавично маршрутизиране на заявки [1].
С размер от едва 120 милиона параметъра, CLEF е проектиран да се изпълнява директно в над 330 точки на присъствие на компанията по света, вземайки автономни решения за пренасочване на задачи с латентност под 5 милисекунди.
Краят на твърдо кодираните правила и скъпите грешки
Досега оркестрацията на сложни работни потоци от автономни агенти страдаше от два основни недостатъка: или инженерите използваха примитивни regex правила и твърдо кодирани if-else условия за избор на модел, или всяка заявка се изпращаше към скъпи и бавни водещи модели (като Claude Opus или GPT-4), дори за тривиални операции по форматиране на текст.
CLEF елиминира тази дилема благодарение на дълбоко оптимизирана парадигма за периферни изчисления:
- Семантична класификация в реално време: Оценява сложността на потребителския промпт, очакваната дължина на контекста, необходимостта от външни инструменти и изискванията за латентност.
- Автономно тристепенно разпределение:
- Ниво 1 (Edge): Прости заявки се обслужват директно от квантувани модели на самия сървър на Cloudflare за броени милисекунди.
- Ниво 2 (Fast Inference): Стандартни задачи за кодиране се изпращат към среден клас модели (Llama-3-70B, Claude Haiku).
- Ниво 3 (Deep Frontier): Единствено критични разсъждения и сложни логически доказателства се пренасочват към тежките флагмански клъстери.
- Zero-copy WebAssembly изпълнение: Моделът е компилиран за WebAssembly, което позволява стартиране в рамките на микросекунди без overhead от тежки контейнери.
„Не можете да изградите автономна икономика от милиони агенти, ако плащате по 5 цента и чакате 3 секунди само за да разберете кой точно модел трябва да отговори на даден въпрос. CLEF прави маршрутизацията почти невидима като време и разход,“ заяви вицепрезидентът по AI архитектури на Cloudflare [1].
Икономически показатели и отворен код
Първите тестове в реални производствени среди показват впечатляващи резултати:
- Спад на разходите за изчисления със 70%: Компаниите, внедрили CLEF, драстично намаляват зависимостта си от скъпи API квоти, насочвайки над 65% от междинните стъпки към локални edge модели.
- Отворен лиценз Apache 2.0: Теглата на модела и референтният Rust двигател са публикувани свободно, позволявайки внедряване и в частни корпоративни мрежи без зависимост от облака на Cloudflare.
- Гаранция за поверителност: Междинният рутер не съхранява логове на промптовете, гарантирайки пълно съответствие с GDPR и строги стандарти за сигурност.
Дълбок системен анализ
Пускането на CLEF отбелязва съзряването на инфраструктурния слой за изкуствен интелект. Подобно на начина, по който BGP (Border Gateway Protocol) и DNS направиха възможно съществуването на глобалния интернет чрез децентрализирано маршрутизиране на пакети, CLEF и неговите наследници полагат основите на „семантичния интернет“.
В тази нова мрежа пакетите не са просто байтове, а намерения и логически задачи, които се обработват динамично на най-близкото и икономически изгодно място в глобалната топология. Това превръща периферната мрежа в първия истински суперкомпютър за автономни агенти.
Инфографика: Механизъм за класификация и динамично разпределение на заявки в реално време на Cloudflare CLEF