METR (Model Evaluation and Threat Research)

METR (Model Evaluation and Threat Research), първоначално стартирала като част от организацията ARC Evals (Alignment Research Center Evals), е водеща независима организация с нестопанска цел, посветена на оценката на рисковете и способностите на съвременните модели на изкуствен интелект (frontier models).

Организацията разработва методологии и платформи за изследване на потенциални заплахи в няколко критични области:

• Автономна репликация и адаптация: Способността на моделите самостоятелно да оцеляват, да печелят пари и да се разпространяват в реалния свят.
• Възможности за софтуерно инженерство: Анализиране на производителността и ефективността при решаване на сложни софтуерни задачи и отстраняване на бъгове.
• Киберсигурност: Тестване на способността на моделите да откриват и експлоатират уязвимости или да заобикалят защити на инфраструктурно ниво.

Проучванията и бенчмарковете на METR предоставят ценни данни за софтуерната индустрия относно реалното ускорение на работата, постигнато чрез AI агенти, спрямо времето, прекарано от човешки разработчици в проверка и корекция на техните генерирани кодове.