Достъпът до ИИ кара хората да отказват да признаят „Не знам“: Изследване разкрива феномена на измамната сигурност
Снимка: The Decoder / Cognitive Research
Мащабно психологическо и когнитивно изследване, проведено с над 3000 участници, разкри тревожен феномен в човешкото поведение: наличието на достъп до изкуствен интелект кара хората почти напълно да се откажат от признаването на собственото си незнание [1]. Когато разполагат с чатбот, участниците упорито отказват да отговорят „Не знам“, дори когато въпросите са подвеждащи или нямат логичен отговор [1].
В контролната група без достъп до технологии, доброволците са признавали липса на информация в 42% от сложните въпроси [1]. При групата с помощта на големи езикови модели обаче, този дял се срива до едва 3.2% [1]. Участниците са генерирали убедително звучащи, но напълно грешни отговори, сляпо доверявайки се на авторитетния тон на невронната мрежа [1].
Инфографика: Светни.ме
Опасността от привидната компетентност
Авторите на изследването предупреждават, че съвременните диалогови системи са обучени да звучат уверено и убедително дори когато халюцинират [1]. Това поражда когнитивна заблуда у потребителя, който погрешно отъждествява гладката граматическа форма с фактическа истинност [1].
В професионални области като медицината, финансите и юриспруденцията тази загуба на интелектуално смирение може да доведе до катастрофални решения [1]. Специалистите започват да неглижират собствените си съмнения и пропускат да извършат задължителните независими проверки, приемайки машинния отговор за чиста монета [1].
Нужда от калибрирана несигурност в интерфейсите
Учените настояват разработчиците на ИИ спешно да променят своите бенчмаркове и дизайн на взаимодействията [1]. Вместо моделите винаги да се стремят да дадат категоричен отговор на всяка цена, те трябва да бъдат тренирани ясно да показват степента си на несигурност и да насочват потребителя към самостоятелно критично мислене, когато данните са оскъдни или противоречиви [1].
Източници:
[1]: AI access makes people almost entirely unwilling to say 'I don't know,' study finds - The Decoder