SWE-bench

SWE-bench е софтуерен бенчмарк за тестване на способностите на езиковите модели и автономните агенти да разрешават реални софтуерни проблеми (GitHub issues) в съществуващи отворени хранилища.

Характеристики

• Реалистична комплексност: Изисква навигация в многофайлови проекти, разбиране на контекста и изпълнение на тестови пакети без човешка намеса.
• Еталон за оценка: Признат златен стандарт в индустрията за измерване на реалния капацитет на AI кодови асистенти.
• Разрешаване на крайни състояния: Демонстрира кога моделната логика се проваля при неочаквани системни грешки или зависимости в средата.