85% от компаниите, засегнати от грешки на ИИ, съкращават специалистите по контрол
Парадоксална тенденция се наблюдава в корпоративния сектор при управлението на риска, свързан с внедряването на технологии с изкуствен интелект. Според проучване на изследователската дивизия VB Pulse на медията VentureBeat, голяма част от бизнесите реагират на грешките на ИИ с намаляване на човешкия контрол. Общо 85% от предприятията, които са претърпели публични или финансово значими загуби в резултат на грешки на техните системи в производство, избират да намалят зависимостта си от човешки експерти, вместо да увеличат надзора [1].
Изображение: Svetni.me / ИИ генерирано изображение
Тази оптимизация засяга ключови роли как инженери по качеството (QA), редактори и специалисти по анотиране на данни. Намаляването на човешкия ресурс се случва в момент, когато ИИ системите стават все по-комплексни и трудни за предвидимо тестване.
Изображение: Svetni.me / ИИ генерирана инфографика
Скритите провали на изкуствения интелект
Данните от изследването очертават сериозен проблем с надеждността на внедрените технологии. Близо 49% от анкетираните компании споделят, че техен ИИ агент или функционалност, преминала успешно през вътрешни тестове, впоследствие се е провалила пред очите на клиентите [1].
Притеснително е, че 24% от тези организации са се сблъскали с подобни проблеми повече от веднъж. Тези данни показват значително разминаване между резултатите в контролирана среда на разработчиците и реалната експлоатация на продуктите на пазара.
Крахът на традиционните тестови набори
Вместо да разчитат на ръчна поддръжка, компаниите бързо променят стратегията си за оценка. Наблюдава се спад в използването на статични тестови набори (eval sets) за сметка на автоматизирани системи за откриване на аномалии. Доверието в автоматизираните инструменти за оценяване (LLM Evals) нараства осезаемо – от 5% през юни до 13% през юли 2026 г. [1].
„Свидетели сме на голям залез на оценяването (evals) във вида, в който го познаваме“, коментира Бен Хайлак, технологичен директор на компанията Raindrop. Според него компаниите от Fortune 100 масово съкращават тестовите набори, тъй като при сложни системи с множество подагенти е невъзможно да се предвидят всички сценарии за отказ.
Преход към динамична наблюдаемост
В новата реалност бизнесът разчита на непрекъсната наблюдаемост (observability) в реално време, за да улови грешките навреме. Платформи като Raindrop.ai работят като защитен слой (тип Sentry) за ИИ агенти, следейки за безшумни сривове в реално време [1].
Този преход към автоматизиран мониторинг преди и след пускане в експлоатация има за цел да замени нуждата от скъпа човешка поддръжка на статични тестове. Дали обаче автоматизацията на контрола ще успее да сведе до минимум публичните провали, предстои да се разбере.
Източници: