Цикличен трансформър (Looped Transformer)

Цикличният трансформър (Looped Transformer) е невронна архитектура, при която определени вътрешни слоеве на трансформъра се изпълняват многократно в цикъл за всеки отделен токен преди генерирането на изхода.

Този подход позволява на модела да извършва по-дълбоки изчисления и сериални разсъждения директно в латентното пространство на скритите състояния, без да генерира дълги и скъпи текстови вериги от мисли.

Споменавания в статии