Инверсия на модели (Model Inversion)

Инверсията на модели (Model Inversion) е клас изследователски техники и атаки срещу сигурността и поверителността на машинното обучение, при които атакуващият се опитва да възстанови конфиденциални входящи данни, системни подкани (system prompts) или обучаващи извадки единствено чрез анализ на изходните вероятности и генерирания текст на целевия модел.

Техники като прогнозиране на предходния токен (Previous-Token Prediction) позволяват пресъздаване на контекста отзад-напред в режим на „черна кутия“, разкривайки структурни пропуски в защитните механизми на съвременните езикови модели.

Споменавания в статии