DeepInfer

DeepInfer е високопроизводителен енджин за моделни изводи с отворен код, създаден от екипа на DeepSeek, оптимизиран за архитектурата Multi-head Latent Attention (MLA) и мащабни смесици от експерти (MoE).

Архитектурни предимства

• Оптимизация на паметта: Редуциране на размера на KV кеша чрез латентна проекция, позволяващо обслужване на хиляди конкурентни заявки на един GPU клъстер.
• FP8 и FP4 квантизация: Нативни изчислителни ядра, запазващи точността при драстично намаляване на трафика по шината на паметта.
• Екстремна икономичност: Инфраструктурният гръбнак, позволяващ рекордно ниските цени на токън при моделите на DeepSeek.