FourierQK

FourierQK е оптимизиран механизъм за внимание в трансформаторните модели, който заменя класическото скаларно произведение с филтриране в честотната област чрез Фурие трансформации.

Архитектурата драстично намалява размера на KV кеша (до 80%) и ускорява обработката на дълги контекстуални прозорци при минимална загуба на качеството на разсъжденията.