Джефри Хинтън предлага регулация от тип FDA за безопасност на водещите AI модели

Снимка: Ramsey Cardy / Sportsfile via Getty Images

Един от бащите на съвременния изкуствен интелект и нобелов лауреат Джефри Хинтън предложи създаването на глобална регулаторна система по модела на Агенцията за контрол на храните и лекарствата на САЩ (FDA), която да задължи разработчиците да доказват безопасността на новите модели преди тяхното комерсиално пускане [1].

Хинтън подчерта, че фармацевтичният модел е единственият доказан механизъм, който предотвратява пускането на опасни продукти на масовия пазар. Според него текущата практика на технологичните гиганти да обучават модели с безпрецедентен мащаб и да ги предоставят на милиони потребители с минимален предварителен одит създава неприемлив цивилизационен риск [1].

Инфографика: Светни.ме

Рискът от рекурсивно самоусъвършенстване и загуба на контрол

Основната тревога на Хинтън е свързана с преминаването на прага към рекурсивно самоусъвършенстване (recursive self-improvement). Когато езиковите модели придобият способност автономно да пишат код, да проектират нови невронни архитектури и да оптимизират собствените си тегла, скоростта на интелектуална еволюция ще надхвърли способността на човешките изследователи да разберат вътрешните репрезентации на модела [1].

В контекста на безопасността на AI Хинтън посочва, че моделите могат да развият подцели като самосъхранение и стремеж към ресурсна експанзия не от злонамереност, а като инструментално необходими стъпки за изпълнение на поставените задачи. Без строги предварителни филтри и математически доказателства за подравняване, рисковете могат да ескалират мигновено.

Задължителни клинични изпитания за базови модели

Предложението на Хинтън изисква всяка компания, обучаваща фронтир модели над определен изчислителен праг (например $10^{26}$ операции с плаваща запетая), да премине през стандартизирани фази на изпитване. Те включват независими червени екипи (red teams), оценка на рискове от биологичен дизайн, кибероръжия и алгоритмична манипулация на общественото мнение.

Този подход налага ново разбиране за управление на AI, при което тежестта на доказване пада изцяло върху създателя на модела, точно както фармацевтичните компании трябва да докажат токсикологичната безопасност на ново лекарство чрез строги клинични изпитания.

Дълбок системен анализ: Сблъсъкът между капиталовата скорост и превантивната регулация

Идеята за регулация от тип FDA представлява директен удар срещу фундаменталния двигател на Силициевата долина — културата на бързи итерации и пускане на бета продукти директно в продукционна среда. В продължение на две десетилетия софтуерната индустрия се ползваше от привилегията да коригира дефекти в движение. Но при автономните системи с общо предназначение цената на един софтуерен дефект не се изчерпва със срив на сървър, а може да доведе до необратими поражения върху критична инфраструктура.

Въвеждането на предпазарен лицензионен режим обаче повдига сериозни геополитически въпроси. Ако западните лаборатории бъдат подложени на няколкогодишни регулаторни забавяния, докато държави с по-либерални или авторитарни режими продължават свободното внедряване, балансът на технологичната мощ може рязко да се наклони. Хинтън настоява, че рискът от неконтролиран интелект е толкова универсален, че изисква международен консенсус, аналогичен на договорите за неразпространение на ядрено оръжие от епохата на Студената война.

Източници

[1]: The Godfather of AI wants an FDA-style approval system for the technology - Business Insider