Внимание
Вниманието (Attention) е когнитивен процес на фокусиране върху специфичен аспект от информацията, като същевременно се игнорират други. В AI архитектурите "механизмът на внимание" позволява на моделите да се фокусират върху най-важните части от входящите данни.
Споменавания в статии
- Как вниманието в трансформърите произлиза директно от асоциативната памет на Хопфийлд
- Многообразия на вниманието: Контрол на езикови модели чрез B-spline геометрични повърхности
- FourierQK: Филтрирането в честотната област намалява KV кеша на трансформаторите с 80%
- Защо предвиждането на намерения изисква повече от големи езикови модели
- Ролята на AI в борбата с парализата на задачите: Меч с две остриета