Архитектура на големите езикови модели (LLM Architecture)

Архитектурата на големите езикови модели (LLM Architecture) обхваща структурния дизайн на невронните мрежи, използвани за обработка и генериране на естествен език.

Исторически доминирана от декодерната Transformer архитектура с механизъм за самовнимание (Self-Attention), съвременната област претърпява еволюция към смесени експертни структури (Mixture-of-Experts, MoE), рекурентни модели в пространството на състоянията (Mamba/SSM) и неавторегресивни дифузионни модели за текст.