Multi-Head Latent Attention (MLA)

Multi-Head Latent Attention (MLA) е усъвършенствана архитектура за внимание, разработена от DeepSeek, която драстично компресира кеша за ключове и стойности (KV cache) по време на генерация на текст.

Чрез прожектиране на ключовете и стойностите в латентно пространство с ниска размерност, MLA намалява изискванията към паметта на видеокартите до 80-90% в сравнение със стандартното Multi-Head Attention (MHA), позволявайки безпрецедентно висока пропускателна способност при обслужване на паралелни потребителски заявки.