OpenAI пресече мащабна атака за кражба на веригите от разсъждения, но пробивът остава активен в Azure
Снимка: The Decoder / OpenAI
Лабораторията OpenAI разкри, че е блокирала масирана координирана атака, при която над 15 000 свързани акаунта са правили опити да извлекат скритите логически вериги от разсъждения (Chain of Thought) на нейните флагмански модели [1]. Разследването обаче разкри сериозен пробив в сигурността на съвместната инфраструктура: докато директните крайни точки на OpenAI са били защитени, същата атака е продължила да функционира безпрепятствено в облака Azure на Microsoft [2].
Механизъм на атаката и връзка с външни лаборатории
Атаката е целяла агресивна дестилация (Distillation) на скритите стъпки на разсъждение, които модели като GPT-6 Astra генерират вътрешно, преди да върнат финалния отговор на потребителя [1]. Чрез специално конструирани зловредни подкани (Adversarial Machine Learning) нападателите са принуждавали модела да разкрива токените от своите скрити чернови, използвайки ги за безплатно обучение на конкурентни модели.
OpenAI свързва част от наблюдаваната активност с физически и юридически лица, свързани с китайската лаборатория Moonshot AI [1].
Критичното забавяне в облака на Microsoft
Въпреки че екипът по сигурност на OpenAI е внедрил евристични филтри за разпознаване на дестилационни заявки в своето собствено API, същите защити не са били пренесени навреме в Azure OpenAI Service [2]. В резултат на това нападателите са пренасочили своя трафик към облачните сървъри на Microsoft, продължавайки извличането на интелектуална собственост в продължение на седмици.
Инцидентът разкрива сериозна липса на оперативна синхронизация между създателите на модели и големите облачни доставчици, които ги разпространяват на корпоративния пазар [1].
Битката за латентното пространство: Скритите вериги от разсъждения като най-ценната интелектуална собственост
Случаят с кражбата на разсъждения в Azure осветява най-строго пазената тайна на съвременните фронтиерни лаборатории. В ерата след трансформърите качеството на един модел вече не се определя единствено от броя параметри, а от способността му да „мисли“ преди да отговори – да генерира дълги, самокритични разсъждения в латентното пространство.
Тези скрити вериги от разсъждения представляват милиарди долари инвестиции в подсилващо обучение с човешка обратна връзка (RLHF) и специализирани верификатори. За конкурентна лаборатория извличането на дори 100 000 висококачествени вериги от разсъждения позволява бързото обучение на компактен модел, който постига 90% от способностите на оригинала на малка част от разходите за обучение.
Този прецедент ще принуди доставчиците на модели да въведат криптографски защити на най-ниско ниво. Ако моделът се разпространява през външни облаци без пълна хардуерна енклавна изолация и автоматизирано спиране на подозрителни заявки за дестилация, защитата на алгоритмичните тайни става практически невъзможна.
Инфографика: Анализ на Svetni.me