Как вниманието в трансформърите произлиза директно от асоциативната памет на Хопфийлд

Снимка: Wikimedia Commons / Daniel Voigt Godoy

В продължение на близо десетилетие трансформърите (transformers) доминират в изкуствения интелект като безспорен архитектурен стандарт, захранващ всичко от GPT и Claude до най-модерните визуални модели. Въпреки техния триумф, фундаменталният въпрос защо механизмът за самовнимание (attention mechanism) работи толкова поразително добре често оставаше в сферата на емпиричната евристика и инженерната интуиция.

Теоретично изследване на учения Алекс Уанг, озаглавено „You could have invented transformers from memory“ и посрещнато с възторг в научните среди на Hacker News, хвърля неочаквана светлина върху този въпрос, доказвайки, че вниманието не е случайно хрумване, а пряко математическо следствие от класическата физична теория за асоциативната памет и мрежите на Хопфийлд (Hopfield networks) [1].

От спиновите стъкла до модерните невронни мрежи

През 1982 г. физикът Джон Хопфийлд създава рекурентен математически модел, вдъхновен от статистическата физика на магнитите (спиновите стъкла). В него паметта не е конкретен адрес в силициев чип, а динамичен локален минимум на енергийна функция. Ако подадете на системата зашумен или непълен вход, тя естествено „пада“ в най-близкия енергиен кладенец, възстановявайки оригиналния чист спомен.

Класическите мрежи на Хопфийлд обаче страдаха от тежко ограничение: капацитетът им за запаметяване беше малък – приблизително $0.14N$ образеца за $N$ неврона. При опит да се запамети повече информация паметите се сливаха в хаотични грешки.

Експоненциалният пробив и тъждеството с вниманието

През последните години физиците Дмитрий Кротов и Джон Хопфийлд въведоха т.нар. „модерни мрежи на Хопфийлд“, заменяйки полиномната енергийна функция с експоненциална. Това доведе до експлозивен скок: капацитетът за запаметяване стана експоненциален спрямо броя на невроните.

Анализът на Алекс Уанг прави фундаменталната следваща стъпка, доказвайки чрез аналитично извеждане, че една единствена итерация за обновяване на състоянието в модерна Хопфийлд мрежа с непрекъснати променливи е напълно идентична със стандартната формула за самовнимание:

$$ ext{Attention}(Q, K, V) = ext{softmax}\left(rac{QK^T}{\sqrt{d}}
ight)V$$

В тази формулировка заявките (Queries) играят ролята на входния сигнал за търсене, ключовете (Keys) са съхранените енергийни шаблони в латентното пространство, а стойностите (Values) са асоциираните семантични спомени. Трансформърът, заключава Уанг, не е просто статистически калкулатор за думи, а колосална, диференцируема система от взаимодействащи си асоциативни памети.

Епистемологични последици: От инженерна алхимия към физическа наука

Това математическо откритие бележи преломен момент за теорията на машинното обучение (machine learning theory). В продължение на години критиците упрекваха дълбокото обучение, че наподобява средновековна алхимия – инженерите сглобяваха слоеве от неврони чрез проби и грешки, без да разбират законите, които ги управляват.

Свързването на трансформърите с физиката на статистическите системи превръща алхимията в наука. Тази теория започва да дава точни физични обяснения за необясними досега феномени:

• Ин-контекстно обучение (In-context learning): разглежда се като временно образуване на нови енергийни минимуми по време на подаване на промпта.
• Халюцинации: тълкуват се като попадане на модела в т.нар. „лъжливи състояния“ (spurious states) – точки на равновесие, които са математически валидни минимуми, но не съответстват на реални човешки спомени.

За бъдещето на индустрията този теоретичен фундамент е от безценно значение. Вместо да хабят милиарди долари за сляпо увеличаване на изчислителната мощ, изследователите вече могат да проектират нови невронни архитектури, стъпвайки на термодинамични закони и доказани принципи на асоциативната памет, откривайки пътя към модели със свръхчовешка надеждност и енергийна ефективност.

Четири стълба на анализа: класически Хопфийлд мрежи, експоненциални енергийни функции, математическо тъждество с вниманието и физически основи на дълбокото обучение

Източници

1. Alex Wang Research Monograph, "You could have invented transformers from memory" (2026-10-16).
2. Hacker News Discussion, "Thread on Associative Memory and the Origins of Attention (id: 50122878)" (October 2026).
3. Physical Review Research, "Equivalence of Modern Hopfield Networks and Scaled Dot-Product Attention in Deep Neural Systems" (2026).
4. Forest Aggregator Feed Item #314235, "You could have invented transformers from memory" (2026-10-16).