Финото настройване забравя, RAG губи контекст: Хипермрежите като нова ИИ архитектура за агенти
Според публикация в технологичното издание VentureBeat [1], авторът Уджас Пател описва сериозните ограничения пред внедряването на корпоративни автономни агенти. Компаниите, които се опитват да преминат от демонстрационни проекти към реална производствена среда, се сблъскват с т.нар. „оркестрационна стена“ (orchestration wall). Традиционните методи за захранване на моделите с фирмени данни и правила, базирани на фино настройване (fine-tuning) и RAG (Retrieval-Augmented Generation), разкриват критични архитектурни недостатъци.
Проблемите на настоящите подходи
При използването на фино настройване се проявява феноменът катастрофално забравяне (catastrophic forgetting) [1]. Когато езиковият модел се обучава с нови бизнес данни, това влошава общите му способности за логическо мислене и разсъждение.
От друга страна, подходът RAG страда от „гниене на контекста“ (context rot) и изтичане на информация. С нарастването на обема на подадените документи като входен контекст, точността на модела спада драстично поради лимитите на механизмите за внимание (attention rot). RAG системите също така изпитват сериозни затруднения при логически връзки, изискващи едновременен анализ на информация, разпределена в множество различни документи.
Хипермрежите като динамична алтернатива
Вместо статични подходи, статията предлага внедряването на хипермрежи (hypernetworks) [1]. Те представляват невронни мрежи, които по време на изпълнение (inference time) динамично генерират теглата (weights) или параметрите за друг целеви модел.
Изображение: Svetni.me / Авторско изображение
Тази концепция действа като „фабрика за тегла“ в реално време. Вместо поддържането на огромна библиотека от статични адаптери за всяка отделна задача (LoRAs), хипермрежата конструира специализиран микромодел на база на текущите правила и контекст в точния момент на заявката.
Бъдещи перспективи
Макар че този метод все още е в процес на научна проверка и калибриране, то той предлага сериозен потенциал за мащабиране при високообемни, дългосрочни и повтарящи се бизнес процеси. Крайната цел на подобна архитектура е постигането на автономност в съотношение "90/10" — при което агентът извършва 90% от работата напълно самостоятелно, а останалите 10% се предоставят за проверка и верификация от човек.
Източници: