Рамки с памет при ИИ агенти с дълъг живот: Опитът на Sakana AI при локални модели
Изображение: Svetni.me / ИИ генерирано изображение
По време на конференцията AI Engineer World's Fair 2026 в Сан Франциско, Стефания Друга, водещ изследовател в японската лаборатория Sakana AI, представи нов подход за справяне с деградацията на контекста (context rot) при автономните ИИ системи [1]. В своята презентация тя демонстрира как използването на т.нар. „рамки с памет“ (memory harnesses) позволява на изследователски ИИ агенти с дълъг живот да изпълняват задачи с широк времеви хоризонт изцяло върху локален хардуер, оптимизирайки едновременно точността и разходите за изчислителни ресурси.
Изображение: Svetni.me / ИИ генерана инфографика
Възходът на локалните модели и икономическият натиск
Друга започна презентацията си, свързвайки изследването си с по-широк индустриален тренд. Тя цитира скорошно изявление на изпълнителния директор на Coinbase, който сподели как компанията е успяла драстично да съкрати разходите си за изкуствен интелект, докато в същото време е увеличила потреблението му. Ключът към този успех е преходът към локално хоствани модели и прилагането на добри инженерни практики – по-добро рутиране, ефективно кеширане, поддържане на чист контекст и по-висока видимост на задачите.
Локалните модели вече пресичат критичната граница на полезност за сложни агентни задачи и използване на инструменти (tool use). Модели като DeepSeek V4 Flash или Qwen вериги се преврэщат в жизнеспособна алтернатива на облачните API, осигурявайки суверенитет на данните и предвидими разходи. Тези модели обаче се нуждаят от външна системна подкрепа, за да работят ефективно при сложни сценарии.
Проблемът с „гниенето на контекста“
При задачи с дълъг времеви хоризонт (long-horizon tasks), които продължават часове или дни, автономните ИИ агенти неизменно се сблъскват с т.нар. „гниене на контекста“. С натрупването на история в рамките на сесията, моделите започват да си противоречат, да повтарят вече свършени задачи или просто да се отклоняват от първоначалните цели. Те буквално забравят инструкциите си под натиска на твърде много информация в контекстния прозорец.
Този проблем става все по-сериозен поради две тенденции: от една страна, бизнесът изисква решаването на задачи с все по-дълъг хоризонт; от друга страна, темпото на пускане на фундаментално нови модели започва да се забавя. Решението не може да бъде просто увеличаване на контекстния прозорец, тъй като това води до огромно натоварване на оперативната памет и забавяне на работата.
Дизайн на рамката с памет (Memory Harness)
Вместо да разглежда паметта просто като пасивно хранилище (векторна база данни), Друга предлага тя да се третира като структуриран управляващ контур (write-manage-read loop), който обгръща езиковия модел:
Запис (Write): Систематично логване на действията, стъпките и мисловните процеси на агента.
Управление (Manage): Филтриране, приоритизиране и архивиране на събраните данни в рамките на текущата и между различните работни сесии.
Четене (Read): Извличане на най-подходящите спомени и връщането им обратно в текущия контекст на модела.
Самият ИИ агент в тази архитектура е „лек“ и не разполага с дълготрайна вградена памет – цялата интелигентност по съхранението и извличането е делегирана на външната рамка (Agentic Memory).
Експерименти и резултати от реални бенчмаркове
Експериментите на Sakana AI са проведени на компютър Mac Studio с чип M3 Ultra (96 GB споделена памет и 28-ядрен процесор). Като модели са използвани Qwen3 (квантизиран до 4-бита) и DeepSeek V4 Flash. Заради хардуерните ограничения на локалните модели – например липсата на поддръжка за паралелни пакетни заявки (batch queries) при DeepSeek – оценките са отнели дни непрекъсната работа, изисквайки допълнително външно охлаждане на хардуера.
Резултатите показват ясно разграничение в зависимост от естеството на задачите:
Задачи в рамките на контекста: При тестване с литературен обзор (където всички статии и контекст се побират в стандартния прозорец на модела), рамката с памет (memory harness) не добавя стойност. Тя постига същата производителност като базовия модел, но увеличава токените и разходите.
Задачи извън контекста (X-Bench и Spider V2): При бенчмаркове за дълъг хоризонт, където правилната информация е извън текущия контекстен прозорец (например на стъпка 124 при текуща стъпка 500), рамката с памет се оказва критична.
При сравнението на различни стратегии за извличане – стандартен векторен RAG, „регистър на решенията“ (decisions ledger) и теоретичен „оракул“ (oracle, подаващ перфектния спомен) – най-добри резултати показва структурираният регистър на решенията с класиране по важност. Този метод се представя по-добре и от стратегиите за условно пропускане (gating), при които моделът сам трябва да прецени дали има нужда от достъп до паметта.
Парадоксът на оракула и суверенитетът на данните
Един от най-интересните изводи от презентацията е т.нар. „парадокс на оракула“. Дори когато рамката с памет (memory harness) подава перфектната информация (ground truth) на модела, точността не достига 100%. Моделът понякога избира да игнорира подадения спомен или се обърква от него. Това подчертава, че управлението на паметта е сложен поведенчески проблем, който изисква развитието на ново направление – „инженерство на рамките“ (harness engineering).
Проучването на Sakana AI показва, че правилната архитектура на паметта може да спести огромен обем токени, намалявайки драстично цената за работа на агентите. Това открива пътя към пълна автономност и цифров суверенитет, позволявайки на компаниите да изпълняват сложни изследователски задачи локално, без да изпращат чувствителна информация към външни облачни доставчици.
Източници: