Google Research представи WikiSkill: Постоянна база от знания за еволюция на уменията при ИИ агенти
Изображение: Svetni.me / ИИ генерирано изображение
В изследователски доклад, публикуван в архива за научни препринти arXiv [1], екип от Google Research и Virginia Tech представи WikiSkill – нова архитектурна рамка за автоматично самоусъвършенстване на автономни софтуерни системи. Разработката адресира един от най-упоритите фундаментални проблеми при съвременните автономни агенти: фактът, че след всяко изпълнение на поставена задача натрупаният оперативен опит се губи, а системата започва следващата мисия без памет за допуснатите грешки или откритите успешни стратегии [1], [2].
Вместо да разчита на непрекъснато дообучаване на невронните тегла, WikiSkill заимства идеи от концепцията на Андрей Карпати за „LLM Wiki“ [3], пренасяйки я към модулните агентни умения. Системата компилира натрупаните следи от изпълнение в персистентна база от знания от уики тип, от която синтезира конкретни процедурни инструкции във файловата система. По този начин автономните системи усъвършенстват своето поведение и надграждат оперативната си агентна памет през отделните итерации без деградация на основните моделни параметри [1].
Изображение: Svetni.me / ИИ генерирана инфографика
Трислойна архитектура: Разделение между опит, знание и изпълнение
В основата на WikiSkill стои строго структурирана трислойна организация на работното пространство, която изолира суровите данни от действащите процедури [1]:
Суров слой (Raw Layer): Директория
raw/, която функционира като неизменим (immutable) регистър. В нея се съхраняват пълните траектории от всяко изпълнение – включително последователността от генерирани разсъждения, системни повиквания на инструменти, конзолни резултати и възникнали грешки от средата [1].Уики слой (Wiki Layer): Персистентно хранилище
wiki/, в което суровите данни се дестилират в структурирани концепции. Този слой категоризира повтарящите се модели на провал, специфични за домейните капани и надеждни алгоритмични последователности. За разлика от останалите елементи, уики слоят никога не се рестартира и нараства монотонно [1].Слой с умения (Skills Layer): Каталог
skills/, съдържащ активните изпълними модули под формата на файловеSKILL.md. Тези файлове описват конкретни процедурни стъпки и условия за задействане на съответния инструмент. Ако нова версия на дадено умение доведе до спад в точността, тя може да бъде върната към предходно състояние, докато натрупаният запис в уикито остава запазен [1].
Това структурно разделение позволява на еволюционния процес да се поучи от провалите, без отхвърлените опити да замърсяват преките работни инструкции на модела [1].
Четиристепенният цикъл на еволюция
Процесът на развитие в рамките на WikiSkill протича през затворен автономен контур, разпределен между четири специализирани компонента [1]:
Агент за инференция (Inference Agent): Изпълнява текущите тестови задачи, ръководейки се единствено от активните умения в каталога, и генерира нови подробни траектории в
raw/[1].Поддръжник на уикито (Wiki Maintainer): Анализира новите следи от изпълнението, изолира повтарящите се грешки и успешните ходове и ги консолидира в съответните тематични страници на базата от знания [1].
Предложител на умения (Skill Proposer): Преглежда обогатената уики документация и предлага целеви редакции или нови файлове в каталога с умения, формулирайки конкретни евристики за избягване на вече идентифицираните слабости [1].
Механизъм за валидация и откат (Gating and Rollback): Тества предложените модификации върху независима контролна извадка. Ако новата инструкция повишава общата точност, тя се запазва в базата с умения; ако обаче причини регресия или нови грешки, промяната се отменя мигновено. Опитът от неуспешния опит въпреки това остава записан в уикито [1].
Благодарение на тази конфигурация всяка неуспешна хипотеза на инженера-агент служи като директна база за следващите предложения, предотвратявайки циклични грешки [1], [2].
Резултати от тестовете: Скокове в точността при комплексни задачи
Ефективността на WikiSkill е оценена в детайли върху пет различни бенчмарка: решаване на състезателна математика (LiveMathematicanBench), уеб търсене и синтез (SealQA), таблични манипулации (SpreadSheetBench), въпроси върху дълги корпоративни документи (OfficeQA) и интерактивно планиране във виртуална среда (ALFWorld) [1].
Тестовете обхващат водещи съвременни модели от семействата Qwen (с размери 4B, 9B и 27B), Gemma 4 (31B) и Gemini 3.5 Flash. Във всички категории WikiSkill постига категорично превъзходство както над базовата конфигурация без умения, така и над досегашните методи за синтез като EvoSkill, SkillOpt и Trace2Skill [1].
При Gemini 3.5 Flash средната точност по всички бенчмаркове скача от 49.5% на 68.1% [1]. При отделните специализирани задачи подобренията са още по-изразени:
В математическия бенчмарк LiveMath резултатът на Gemini 3.5 Flash се удвоява – от 33.0% до 72.6% [1].
При SpreadSheetBench моделът повишава успеваемостта си от 50.5% до 76.6% [1].
В състезанието при отворените модели Qwen-3.6-27B регистрира общ напредък от 39.4% до 63.3%, като в табличния анализ достига внушителните 81.7% [1].
Най-умерени са подобренията при задачи, изискващи продължително търсене в обемисти документи (OfficeQA). Авторите отбелязват, че при компактни модели като Qwen-3.5-4B изпълнението на многоетапни комплексни процедури върху дълъг контекст остава ограничено от изчислителния капацитет на архитектурата [1].
Синергия с мащаба и трансфер на умения
Едно от най-значимите теоретични открития в доклада е, че еволюцията на уменията допълва директно мащабирането на моделите (model scaling) [1].
При фамилията Qwen ръстът на точността нараства правопропорционално с обема на параметрите: моделът с 4 милиарда параметри печели 12.3% средно подобрение, версията с 9 милиарда параметри добавя 17.5%, а вариантът с 27 милиарда параметри бележи скок от цели 23.9% [1]. По-големите модели разполагат с по-добра способност да интернализират абстрактните уики концепции и стриктно да изпълняват сложни процедурни стъпки [1].
В същото време наличието на оптимизирани умения позволява на по-малките системи да компенсират изоставането си в хардуерните мащаби. Моделът Qwen-3.5-9B, оборудван с WikiSkill, достига обща точност от 47.4%, надминавайки базовия трикратно по-голям Qwen-3.6-27B без умения (39.4%) [1].
Изследването разкрива и феномен на ефективен крос-моделен трансфер. Умения, еволюирали при по-способни модели, могат да се прехвърлят директно върху по-малки архитектури и често работят по-добре от инструкциите, които малкият модел би генерирал сам [1]. В симулатора ALFWorld моделът Qwen-3.5-9B постига 63.4% със свои собствени умения, но повишава успеваемостта си до 70.2%, когато му бъдат предоставени уменията, генерирани от Qwen-3.6-27B [1].
Защо прякото четене на уикито влошава резултатите
Изследователите провеждат серия от аблационни тестове (ablation studies), за да изолират ролята на отделните системни модули. Резултатите потвърждават, че премахването на персистентното уики води до бърз спад в ефективността на предложенията, тъй като моделът започва да повтаря отхвърлени вариации [1].
Особено показателен е експериментът, при който на агента за инференция (Inference Agent) се дава директен достъп до пълното съдържание на уикито по време на решаване на задачата. Противно на интуитивните очаквания, това действие води до рязко влошаване на крайната успеваемост [1].
Причината се крие в пренасищането на контекстния прозорец. Затрупването на модела със стотици редове обобщени исторически грешки, анализи и странични бележки създава информационен шум и разсейва механизма на внимание (attention), карайки агента да се отклонява от основната цел [1]. Това откритие категорично валидира архитектурния избор на WikiSkill: знанието трябва да се трупа централизирано и систематично в постоянна база, но към изпълнителя трябва да се подават единствено стегнати, модулни и директно приложими процедурни указания [1].
Източници:
[1]: WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution - arXiv