ChatGPT упорито насочва потребители към независимия сайт 404 Media за техническа поддръжка
Източник: Wikimedia Commons
Американското независимо разследващо издание 404 Media се оказа жертва на упорит и необясним цикъл от халюцинации в ChatGPT, при който моделът на OpenAI систематично убеждава потребителите, че журналистическият сайт предлага денонощна безплатна техническа поддръжка [1]. Инцидентът илюстрира реалните материални щети от грешките в системите за генеративно търсене.
Анатомия на една абсурдна генеративна грешка
В продължение на седмици репортерите на 404 Media получават стотици телефонни обаждания, съобщения в гласовата поща и имейли от граждани, търсещи съдействие за възстановяване на пароли във Facebook, ремонт на безжични рутери или настройка на принтери. Когато журналистите разпитват обърканите потребители откъде са получили техните контакти, отговорът е категоричен: ChatGPT им е дал телефонния номер на редакцията като „официален отдел за техническо обслужване“.
Проблемът вероятно се корени в механизмите за търсене в реално време (Retrieval-Augmented Generation - RAG). Тъй като 404 Media често публикува задълбочени разследвания за технически измами, кибератаки и дефекти в потребителска електроника, алгоритъмът е свързал името на медията и формата за контакт с фрази за разрешаване на технологични проблеми.
Безпомощност пред „черната кутия“ на чатботовете
Най-тревожният аспект на ситуацията е пълната невъзможност на засегнатите страни да коригират грешката. Тъй като OpenAI не предлага бърз публичен механизъм за изчистване на грешни RAG асоциации, независимите медии са принудени да хабят ценни ресурси за справяне с нежелан трафик.
Информационно замърсяване и отговорност на платформите
Куриозният случай с 404 Media разкрива сериозен структурен проблем в прехода от традиционни търсачки към разговорни отговори. При класическото търсене с Google потребителят вижда списък от линкове и може сам да прецени дали даден резултат е новинарска статия, или официална поддръжка. Генеративният чатбот обаче синтезира директни инструкции с тон на абсолютна авторитетност, премахвайки критичния филтър на потребителя.
С нарастването на зависимостта на обществото от подобни агенти, компаниите разработчици ще трябва да носят директна правна и финансова отговорност за репутационните щети и оперативния хаос, причинени от алгоритмични халюцинации.
Четири стъпки в цикъла на алгоритмично объркване