В рамките на своята „Седмица на агентите“ (Agents Week), Cloudflare обяви трансформацията на своята AI инфраструктура в унифициран слой за инференция (inference layer) [1]. Новата платформа позволява на разработчиците да използват един единствен API за достъп до над 70 модела от 12 различни доставчика, включително OpenAI, Anthropic и Google.

Основната цел на това обновление е да се премахне зависимостта от конкретен доставчик (vendor lock-in) и да се осигури максимална надеждност за автономните AI агенти. Чрез функцията AI Gateway, платформата вече предлага автоматично пренасочване (failover) — ако един модел или доставчик е недостъпен, системата автоматично насочва заявката към алтернативен вариант, без това да изисква допълнителен код от страна на разработчика [1].

Гъвкавост и собствени модели (BYOM)

Една от най-значимите иновации е възможността потребителите да внедряват свои собствени, фино настроени модели в инфраструктурата на Cloudflare. Това става чрез интеграция на технологията Cog (от наскоро присъединилия се екип на Replicate). Cog позволява лесно контейнеризиране на машинно обучение и модели, които Cloudflare разгръща и обслужва глобално в своята мрежа [1].

Разработчиците, използващи Cloudflare Workers, вече могат да извикват външни модели чрез същата позната env.AI.run() функция, която използват за локалните модели в Workers AI. Това позволява лесна смяна на моделите спрямо нуждите от скорост, цена или точност, като същевременно се поддържа единна система за мониторинг на разходите чрез метаданни в заявките.

Оптимизация за AI агенти

Cloudflare подчертава, че новата платформа е проектирана с мисъл за агентите, при които една задача често изисква верига от множество последователни извиквания на различни модели. Благодарение на глобалната мрежа от дейта центрове в 330 града, латентността до първия токен е сведена до минимум. Допълнително, системата предлага устойчивост на стрийминг отговорите — ако агент бъде прекъснат по време на работа, той може да се свърже отново с AI Gateway и да получи остатъка от отговора, без да плаща повторно за вече генерирани токени [1].

Източници:

[1]: Cloudflare’s AI Platform: an inference layer designed for agents - Cloudflare Blog