Сигурност на изкуствения интелект (AI Security)
Сигурността на изкуствения интелект е мултидисциплинарна инженерна област, фокусирана върху защитата на машинно обучение, невронни мрежи и автономни агентски екосистеми от враждебни манипулации, кражба на интелектуална собственост и непредвидени разрушителни действия.
Основни стълбове на защитата
- Защита на моделните тегла (Weight Security): Хардуерно криптиране, поверителни изчисления (Confidential Computing) и предотвратяване на неоторизирано копиране на базови модели.
- Устойчивост срещу промпт инжекции: Разпознаване и неутрализиране на директни и индиректни атаки чрез входящ контекст.
- Агентски пясъчници (Sandboxing): Ограничаване на оперативните права на автономните агенти върху файловата система, мрежовите портове и базите данни.
- Контрол на веригата за доставки: Валидация на външни зависимости, отворени библиотеки и предварително обучени адаптери (LoRA).