Минимално разширение от 0,12% дава на ИИ агентите работната памет, която липсва при RAG

Проблемът със „забравянето“ при съвременните изкуствени интелекти е една от най-големите пречки пред създаването на автономни агенти, способни да изпълняват сложни, многостепенни задачи. Докато технологии като RAG (Retrieval-Augmented Generation) помагат при извличането на факти от големи бази данни, те често се провалят в поддържането на динамична „работна памет“ за текущото състояние на задачата. Решението идва под формата на δ-mem (Delta-Mem) — лек механизъм, който добавя само 0,12% допълнителни параметри към модела, за да му осигури стабилна и адаптивна памет [1].

Диаграма на архитектурата на δ-mem, илюстрираща интеграцията на OSAM с основния езиков модел. Авторско изображение.

Защо RAG не е достатъчен

Традиционният подход за справяне с ограничената памет е или разширяване на контекстния прозорец (което е скъпо и бавно), или използване на RAG. RAG обаче работи чрез търсене на статични документи. Той е отличен за справки, но не е предназначен да следи как се променя „мисълта“ или планът на агента по време на дълъг разговор или сложен процес на кодиране [3].

Изследователи от Mind Lab (Declare Lab) идентифицират този дефицит като липса на „поведенческа приемственост“. ИИ агентите често губят нишката на разговора или повтарят грешки, защото не могат ефективно да синтезират историята на взаимодействията си в реално време.

Как работи δ-mem

В сърцевината на новата технология стои т.нар. Online State of Associative Memory (OSAM). Това е компактна матрица с фиксиран размер (често само 8x8), която се добавя към „замразения“ (frozen) основен езиков модел. Вместо да препрочита цялата история, моделът използва delta-rule learning, за да обновява динамично тази матрица с всяка нова порция информация [2].

Този механизъм позволява на модела да прави „корекции с нисък ранг“ в своите вътрешни изчисления. На практика това означава, че ИИ може да „помни“ контекста, без да заема ценно място в контекстния прозорец и без да се нуждае от външни векторни бази данни за всяка стъпка.

Впечатляващи резултати

Тестовете показват, че δ-mem превъзхожда както стандартния RAG, така и методите за разширяване на контекста при задачи, изискващи интензивно използване на паметта. В бенчмарка MemoryAgentBench, предназначен специално за ИИ агенти, технологията постига 31% подобрение в представянето спрямо базовите модели [1]. При дълги контексти (LoCoMo) подобрението е около 20%.

Според водещия автор на разработката, Дзинди Лей (Jingdi Lei), δ-mem не е замислен да замени напълно RAG. Вместо това, той вижда хибридно бъдеще: RAG ще служи като дългосрочен склад за факти, докато δ-mem ще действа като „оперативна памет“, която управлява състоянието и логическия поток на агента в реално време [3].

Източници:

[1]: δ-mem: Efficient Online Memory for Large Language Models - arXiv
[2]: Official Implementation of Delta-Mem - GitHub
[3]: A 0.12% parameter add-on gives AI agents the working memory RAG can't - VentureBeat