Infire

Infire е патентован софтуерен двигател (inference engine) за стартиране на изчисления с изкуствен интелект, разработен от Cloudflare за оптимизиране на Workers AI платформата.

Цели и предназначение

Infire е проектиран специално за безсървърни среди (serverless) в периферията на глобалната мрежа. Неговите основни функции включват:

• Оптимизация на латентността: Намалява времето до генериране на първия токен (Time to First Token - TTFT) и ускорява скоростта на последващото генериране.
• Ефективно управление на GPU: Оптимизира разпределението на задачите към графичните процесори, предотвратявайки празен ход на сървърите и намалявайки разходите за хардуер.
• Мащабируемост: Поддържа стартиране на големи езикови модели (LLMs) и мултимодални модели върху разпределени географски локации в реално време.

Infire се явява фундаменталният слой на платформата Workers AI, който прави периферийните изчисления икономически изгодни за разработчиците в сравнение с наемането на традиционни облачни инстанции от Amazon Web Services или Google Cloud.