03 октомври 2026 г.
FourierQK: Филтрирането в честотната област намалява KV кеша на трансформаторите с 80%

Снимка: Wikimedia Commons / Eremeev
Изследователи в областта на дълбокото обучение публикуваха революционна научна разработка, представяща архитектурата „FourierQK“ – радикално преосмисляне на класическия механизъм за внимание (Attention Mechanism) в невронните мрежи [1].




