Трансформъри

Трансформърите (Transformers) са клас архитектури за дълбоки невронни мрежи, представени за първи път в научната статия „Attention Is All You Need“ от изследователи на Google през 2017 г.

Механизъм на самовниманието

Основната иновация в архитектурата на трансформъра е механизмът за самовнимание (self-attention), който изчислява динамични асоциативни тегла между всички токени в дадена последователност независимо от тяхното разстояние. Това позволява масивно паралелизиране на обучението върху графични процесори, преодолявайки последователните ограничения на по-ранните рекурентни мрежи (RNN и LSTM).

Фундамент на генеративния изкуствен интелект

Архитектурата на трансформъра се превърна в универсален стандарт в машинното обучение, задвижвайки всички съвременни големи езикови модели (като GPT, Claude, Gemini, DeepSeek), дифузионни трансформъри за визуално генериране и мултимодални системи за компютърно зрение.