Икономическата реалност на агентното кодиране: капанът на рекурсивния разход за токени

Снимка: frugaast.dev / Hacker News

Зад ентусиазма около напълно автономните инструменти за програмиране започва да изплува суровата финансова реалност, разкрива обстоен емпиричен анализ на софтуерния инженер и изследовател Frugaast, озаглавен „Агентното кодиране е финансов капан“ [1].

Изследването документира как рекурсивните цикли за разработка, оставени без човешки надзор, могат за часове да генерират сметки за хиляди долари в API токени, без да постигнат работещо решение на възложения софтуерен проблем [1].

Инфографика: Светни.ме

Геометричната експлозия на токените в агентния цикъл

При обикновен диалог с AI разработчикът плаща за кратък въпрос и отговор. При автономното програмиране (autonomous coding) обаче агентът работи в непрекъснат цикъл: чете файл, опитва промяна, стартира компилатор, получава грешка и опитва отново.

С всяка изминала итерация целият предишен лог от конзолата, съобщения за грешки и предишни версии на кода се добавят обратно в контекстния прозорец. В резултат на това на десетата итерация агентът обработва стотици хиляди входни токени за всяко натискане на клавиш. При цени за инференция на авангардни модели като Claude 3.5 Sonnet или GPT-4o, цената на един единствен pull request може да скочи от няколко цента до над 150 долара.

Халюцинаторни лутания и затлачване на контекста

Още по-сериозен е проблемът с т.нар. „халюцинаторно лутане“. Когато агентът срещне фина системна грешка, която не разбира, той започва да променя случайни редове код, създавайки нови бъгове.

Колкото по-дълъг става контекстът, толкова повече се влошава способността на трансформъра да разсъждава трезво — явление, добре познато като деградация на вниманието. Така моделът изпада в безкраен цикъл, изразходвайки бюджета на компанията със скоростта на светлината.

Финансов и инженерен анализ: Преосмисляне на икономиката на токените

Този казус поставя фундаментални въпроси пред икономиката на изкуствения интелект (AI Economics) и практиките в софтуерния инженеринг. Пълната автономност на агентите често се оказва икономически нерентабилна спрямо труда на опитен старши програмист.

За да бъде агентното кодиране устойчиво, инженерните екипи трябва да въведат стриктна икономика на токените (token economics): твърди лимити от максимум 4-5 итерации преди принудително спиране, агресивно кеширане на промптовете, интелигентно орязване на контекста чрез AST синтактични филтри и задължителни човешки контролни точки.

Източници

[1]: Agentic coding is a financial trap - Hacker News / frugaast.dev