Индексът на Mercor: 90% от реалните работни часове в САЩ покриват задачи извън обхвата на AI бенчмарковете
Снимка: Wikimedia Commons / NARA Archive
Платформата за анализ на пазара на труда Mercor публикува мащабния си изследователски доклад Mercor Labor Index, базиран на съпоставка между популярните бенчмаркове (Benchmarks) (като MMLU, GSM8K, SWE-bench) и данните на Бюрото по трудова статистика на САЩ [1].
Академичните тестове мерят знания, а не трудова дейност
Анализът установява шокираща диспропорция: над 90% от реално отработените часове в американската икономика са свързани с трудови задачи, които практически не присъстват в съвременните тестови комплекти за оценка на изкуствен интелект. Докато водещите лаборатории се хвалят с 95% успеваемост на стандартизирани изпити по право или медицина, тези тестове отразяват по-малко от 4% от икономическата активност.
Невидимият труд: физическо присъствие, контекст и междуличностна координация
Изследователите подчертават, че по-голямата част от заетостта на пазара на труда (Labor Market) се състои от неструктурирани дейности: логистична координация, боравене с физически обекти, решаване на конфликти между колеги, управление на несигурност и детайлни преговори.
Тези дейности изискват контекстуално разбиране на корпоративната среда и физически усет, които липсват при изолираните текстови модели. Докладът предупреждава мениджърите срещу прибързани съкращения, базирани единствено на впечатляващи резултати в синтетични бенчмаркове, които не корелират с реалната производителност.
Илюзията за пълна автоматизация и цената на продуктивния пропуск
Констатациите на Mercor отправят отрезвяващо предизвикателство към пазарните ентусиасти, очакващи светкавично масово заместване на работната сила. Истинската сложност на съвременната икономика се корени не в решаването на затворени математически формули, а в справянето с институционален хаос, незаписани процедури и междуличностни зависимости.
Компаниите, които съкращават опитни кадри в очакване на магическо решение от езиковите модели, често се сблъскват със срив в оперативните процеси. Изследването показва, че бъдещето принадлежи не на пълната замяна на хората, а на симбиотичните системи, които подпомагат специфичните 10% аналитични задачи, оставяйки комплексното управление в човешки ръце.
Инфографика: Светни.ме • Аналитичен поглед върху тенденциите и последствията