InnovationEval
InnovationEval е специализиран тест на Epoch AI, създаден да измери степента, в която моделите могат да заменят човешки изследователи в научната работа.
Тестови задачи
- Генериране на хипотези: Формулиране на нови, неизследвани идеи на база прочит на научната литература.
- Експериментален код: Написване, дебъгване и изпълнение на цялостни пайплайни за машинно обучение.
- Интерпретация на резултати: Анализ на графики и таблици за отсяване на статистически значими подобрения.
- Новост срещу шум: Пресяване на истински концептуални открития от тривиални модификации на съществуващи хиперпараметри.
Бенчмаркът служи като ориентир за това колко далеч сме от пълната автономност на научноизследователската дейност.