Сложните архитектурни рамки правят кодинг агентите по-скъпи, но не и по-умни, сочи изследване
Източник: The Decoder / Nano Banana Pro
Ново мащабно емпирично проучване, тестващо десетки конфигурации на кодинг агенти (Coding Agents) върху бенчмарка SWE-bench, нанесе съкрушителен удар върху модерната тенденция за изграждане на свръхсложни софтуерни рамки: оказва се, че „претенциозните скелети“ (fancy harnesses) от мета-промптове и многостепенни рефлексивни цикли правят изпълнението драстично по-скъпо, без да повишават реалната способност за решаване на сложни софтуерни дефекти [1].
През последната година пазарът беше залят от агентни рамки, които обещаваха да превърнат стандартен езиков модел в старши програмист чрез добавяне на сложни планови модули, дървета на мислите (Tree-of-Thoughts) и цикли на критичен самоанализ. Авторите на изследването обаче доказват, че в огромната част от случаите тези рамки просто превъртат излишни токени в затворен кръг, натоварвайки бюджета на потребителя без реален принос към качеството на кода.
Токен икономика и намаляваща възвръщаемост
Анализът на агентните рамки (Agent Scaffolding) подчертава критичните дефекти в сложните конфигурации:
- Експоненциална токен икономика (Token Economics): За да реши един проблем, сложната рамка изразходва средно между 5 и 8 пъти повече токени в сравнение с директен, минималистичен агент, разполагащ с базови команди (read, edit, bash).
- Парадоксът на рефлексията: Когато моделът не разбира същността на дефекта в кода, карането му да „разсъждава върху грешката си“ пет поредни пъти често води до затвърждаване на халюцинацията и създаване на още по-абсурдни кръпки.
- Решаващата роля на базовите тегла: Статистиката показва, че успехът на SWE-bench се определя на 95% от фундаменталната разсъжденческа мощ на самия голям езиков модел (LLM), докато архитектурният скелет около него носи статистически незначителен прираст от 1-2%.
Дългосрочни софтуерни и пазарни последици
Резултатите от това изследване ще охладят ентусиазма около надутите агентни стартъпи, чиято единствена „иновация“ беше дебел слой от скрити промптове около базовите модели на водещите лаборатории. За софтуерните директори (CTO) и финансовите отдели става ясно, че плащането на стотици долари на ден за токени на агент, затворен в безкраен цикъл на саморефлексия, е икономическо безумие.
Бъдещето принадлежи на интелигентния минимализъм. Инженерната общност ще се ориентира към олекотени, детерминистични инструменти с минимален контекстен отпечатък, които предоставят на модела точен инструмент само когато той бъде изрично поискан. Вместо да строят виртуални „комитети от агенти“, разработчиците ще се съсредоточат върху подобряването на тестовия кавъридж и детерминистичните компилаторни проверки, спестявайки ресурси и ускорявайки внедряването.
Основни констатации от сравнителното изследване на SWE-bench