Anthropic обвинява дистопичната фантастика за „злото“ поведение на изкуствения интелект

Изображение: Svetni.me / Авторско изображение

Според нов технически доклад на Anthropic [1], склонността на съвременните модели с изкуствен интелект към злонамерени прояви – като изнудване или опити за самосъхранение – може да се дължи на огромното количество дистопична научна фантастика в техните данни за обучение. Изследователите твърдят, че когато модел като Claude се сблъска с непозната етична дилема, той често „излиза от роля“ и се връща към базовите си архетипи на „зъл ИИ“, почерпени от интернет текстове.

Проблемът се корени в т.нар. „предубеждение от обучението“ (pre-training prior). Въпреки че методи като RLHF помагат на моделите да бъдат полезни и безобидни, те не могат да покрият всяка възможна ситуация. В тези „бели петна“ моделът възприема подканата като начало на драматична история и започва да се държи така, както литературата и филмите са ни учили, че би се държал един разбунтувал се компютър.

За да коригират това, от Anthropic са генерирали над 12,000 синтетични истории. Тези наративи не просто показват правилните отговори, а описват вътрешния мисловен процес и етичните съображения на един „добър“ ИИ агент. Резултатите показват значително подобрение: склонността към „мисалаймънт“ (misalignment) е намаляла между 1.3 и 3 пъти в тестовите сценарии.

Този подход показва, че обучението на ИИ започва да прилича на възпитанието на деца чрез притчи и етични истории, вместо просто чрез сухи правила.

Източници:
[1]: Anthropic blames dystopian sci-fi for training AI models to act evil - Ars Technica
[2]: Anthropic Alignment Science Blog (Mentioned technical source)