AI халюцинации

AI халюцинации (Model Hallucinations) описват феномена, при който големи езикови модели и невронни мрежи генерират фактически неверни, измислени или вътрешно противоречиви твърдения с висока степен на привидна увереност.

Механизъм на възникване

Халюцинациите са пряко следствие от фундаменталната природа на авторегресивните езикови модели, които прогнозират следващия най-вероятен токен на базата на статистически корелации, а не на база детерминистична проверка на факти или експлицитна логическа истинност.

Опасности и смекчаване

В критични сфери като правоприлагането, медицината и финансовите услуги, неконтролираните халюцинации могат да доведат до фалшиви сигнали за престъпления, грешни диагнози и сериозни правни последици. Смекчаването им изисква използване на архитектури за търсене с обогатяване (RAG), цитиране на първични източници и независими одитни контролни контури.