Трансформър архитектура (Transformer Architecture)

Трансформър архитектурата е фундаментална невронна архитектура, въведена през 2017 г. със статията „Attention Is All You Need“, базирана на механизма за самовнимание (self-attention).

Тя позволява мащабна паралелна обработка на последователности от токени и представлява гръбнака на всички съвременни големи езикови и мултимодални модели.

Споменавания в статии