Мрежи на Хопфийлд

Мрежите на Хопфийлд (Hopfield Networks) са класическа форма на рекурентни изкуствени невронни мрежи, въведени от физика Джон Хопфийлд през 1982 г., служещи като математически модел на асоциативната памет.

Математически принципи и енергийна функция

Мрежата на Хопфийлд се характеризира с матрица от симетрични тегла и енергийна функция на Ляпунов. При динамично обновяване на невроните системата гарантирано се стреми към локален минимум на енергията, съответстващ на запаметен образец, което позволява възстановяване на пълни данни от зашумени или частични входни сигнали.

Връзка с модерните трансформъри

Съвременните изследвания в теорията на машинното обучение доказват, че механизмът за самовнимание в съвременните трансформъри представлява непрекъснат, диференцируем аналог на модерните мрежи на Хопфийлд с експоненциален капацитет за съхранение, разкривайки дълбоката физична връзка зад успеха на LLM архитектурите.