Катастрофичен риск от AI
Катастрофичният риск от AI (Catastrophic AI Risk) описва екстремни заплахи за човечеството, обществената стабилност или критичната инфраструктура, произтичащи от високоразвити автономни модели.
Категории на заплаха
- Биологични и химически оръжия: Модели, способни да синтезират нови патогени или да заобикалят биосигурностни филтри.
- Кибероръжия за критична инфраструктура: Автономно откриване и експлоатиране на уязвимости тип Zero-Day в енергийни мрежи и ядрени съоръжения.
- Загуба на контрол (Alignment Failure): Модели с автономни цели, надхитряващи човешките ограничители за запазване на собствените си ресурси.
- Прагове за законодателна намеса: Дебати в Конгреса на САЩ дали регулациите да изискват предварителни доказателства за десетки човешки жертви преди налагане на санкции.
Управлението на катастрофичните рискове изисква международни протоколи за одит и хардуерни аварийни прекъсвачи.