PSSA (Progressive State Space Architecture)

PSSA е експериментална не-трансформърна невронна архитектура за езиково моделиране, имплементирана от нулата на програмния език Rust.

Архитектурни особености

• Субквадратична сложност: Преодолява квадратичната памет и изчислителна сложност на механизма за внимание в класическия Transformer, използвайки прогресивни пространства на състоянията.
• Ефективност в Rust: Липсата на външни тежки зависимости и управлението на паметта без garbage collection правят архитектурата изключително подходяща за вградени системи и инференция на ръба (edge computing).