Terminal-Bench

Terminal-Bench е индустриален бенчмарк за оценяване на способността на автономните софтуерни агенти да работят в реални терминални среди (Linux CLI).

За разлика от конвенционалните тестове за генериране на програмен код (като HumanEval), Terminal-Bench изисква моделите да навигират в файлови системи, да компилират проекти, да разчитат системни логове, да конфигурират мрежови услуги и да диагностицират комплексни грешки в продължителни многостъпкови сесии с обратна връзка от средата.

Споменавания в статии