AI агентите нямат представа за времето и не го осъзнават

Изображение: Svetni.me / ИИ генерирано изображение

Изследване на двама независими изследователи в областта на изкуствения интелект разкрива, че съвременните AI асистенти за програмиране нямат реална представа за времето и не могат надеждно да проследят изминалото време [1]. Проучването, проведено като част от изследователската програма MATS program от авторите Михаил Офенгенден (Michael Ofengenden) и Максим Андрюшченко (Maksym Andriushchenko), тества времевите способности на два от най-използваните инструмента за кодиране — Claude Code на Anthropic и Codex на OpenAI [2]. Тези открития подчертават сериозен проблем при управлението и надзора на автономни AI агенти, изпълняващи дългосрочни задачи.

Проблемът с времевите прогнози

По време на експериментите изследователите поставят пред AI агентите общо 200 задачи от тестовия пакет ProgramBench, допълнени от 18 собствени бенчмарка [2]. Преди започване на работа всеки модел трябва да направи оценка за необходимото време, а след приключване — да докладва колко време е изминало [2]. Резултатите показват систематично надценяване на времетраенето, особено при кратки задачи [2]. На тестовете с ProgramBench и двата модела прогнозират около 90 минути за почти всяка задача, независимо от реалната й трудност, като при по-детайлните тестове Claude греши средно три пъти, а Codex — между 6 и 10 пъти [2].

Изображение: Svetni.me / ИИ генерирана инфографика

Влиянието на софтуерната рамка

Разликите в софтуерната архитектура (т.нар. harness), в която работят моделите, оказват силно влияние върху тяхното поведение при изпълнение [2]. Анализът показва, че Claude Code продължава работата си, докато сам не реши, че задачата е завършена, което отнема средно около 90 минути [2]. За разлика от него, Codex прекратява изпълнението след около половин час, независимо от спецификата на поставената цел [2]. В резултат на това един и същ езиков модел извършва средно 2,5 пъти повече стъпки под управлението на Claude Code в сравнение с Codex [2]. Това доказва, че общото време за работа зависи не толкова от самия модел, колкото от софтуерната рамка около него.

Неточна самооценка и контрол

AI агентите демонстрират сходна неточност и при оценката на качеството на собствената си работа [2]. По-старите модели като Opus 4.8 и GPT-5.5 надценяват успеваемостта си средно с 20 процентни пункта, като си дават високи оценки дори за напълно провалени задачи [2]. В един от случаите и двата модела определят успеха си на около 70 процента, докато реалните резултати възлизат на едва 7 процента за единия и 14,5 процента за другия [2].

За да могат автономните агенти да работят надеждно с времеви бюджети и крайни срокове, те се нуждаят от по-добро ориентиране във времето [2]. Когато изследователите осигуряват на агентите достъп до специализиран инструмент, показващ изминалото реално време, моделите успяват да направят точни прогнози в почти всеки опит [2].

Източници:
[1]: AI agents have no sense of time and are not aware of it - The Decoder
[2]: Your Agents Are Not Time-Aware - LessWrong