Сигурност на езиковите модели (LLM Security)

Сигурността на езиковите модели (LLM Security) е специализирано направление в киберсигурността, изучаващо специфичните уязвимости на съвременните генеративни невронни мрежи и защитата на системи, изградени около тях.

Основни рискове и вектори

• Промпт инжекции (Direct & Indirect Prompt Injection): Манипулиране на контекста на модела чрез зловреден текст в уеб страници или външни документи.
• Неоторизирано извикване на инструменти (Tool Misuse): Подвеждане на модела да изтрие бази данни или да изпрати поверителни файлове през външни API.
• Изтичане на системни промптове и конфиденциални данни: Извличане на секретни инструкции и лична информация от паметта на модела.