OpenAI ще обучава бъдещи модели върху сесии за киберсигурност от проекта Daybreak Blue
Източник: The Decoder / OpenAI
Компанията OpenAI обяви фундаментална промяна в политиката си за използване на данни, потвърждавайки, че ще започне да дообучава моделите си върху телеметрични записи от киберсимулациите Daybreak Blue [1]. Доскоро тези данни бяха класифицирани като строго поверителни поради риска от неволно обучение на моделите в провеждане на нападателни кибероперации.
Нуждата от дълбоко разбиране на експлойтите
За да създаде надеждни защитни AI агенти, способни да откриват zero-day уязвимости и да спират атаки в реално време, моделът трябва да познава детайлната механика на компрометирането. Обучението върху сесиите на елитни червени отбори предоставя уникален синтетичен опит, недостъпен в публичния интернет.
Рискът от двойна употреба и изтичане на експлойт техники
Критици на решението посочват опасностите от технологията с двойна употреба (dual-use). Ако следващото поколение модели получи способността да анализира и генерира усъвършенстван шелкод и експлойти, всяко заобикаляне на системните защити (jailbreak) може да превърне чатбота в автоматизирано оръжие за кибератаки.
Надпреварата в кибероръжията с изкуствен интелект
Решението на OpenAI подчертава неумолимата милитаризация на водещите невронни архитектури. Дните, в които езиковите модели се обучаваха единствено върху енциклопедии и публични форуми, отдавна отминаха. Днес фронтът на изследванията изисква проникване в най-тъмните и рискови сфери на софтуерната сигурност. Това създава спирала на въоръжаването: колкото по-способни стават моделите в откриването на дупки в сигурността, толкова по-голям е натискът те да бъдат използвани от разузнавателните служби и военните щабове за превантивни удари. Международната общност спешно се нуждае от нови протоколи за верификация, които да гарантират, че моделите с дълбоки познания по кибератаки остават под строг демократичен контрол.
Анализ на двойната употреба, червените отбори и защитата срещу автоматизирани експлойти.