Механистична интерпретируемост (Mechanistic Interpretability)
Механистична интерпретируемост (Mechanistic Interpretability) е научно направление в изкуствения интелект, насочено към разгадаване на вътрешната структура и тегла на дълбоките невронни мрежи чрез аналогичен подход на обратно инженерство (reverse engineering). Изследователите използват инструменти като линейни сонди (linear probes), редки автоенкодери (sparse autoencoders) и лещи на логитите (logit lenses), за да изолират конкретни семантични признаци (features) в активационното пространство и да анализират как моделът формира вътрешните си представяния.
Споменавания в статии
- Близо ли е пробивът в интерпретируемостта на AI? Научен спор около откритията за невронните вериги
- Goodfire представи „inside-out“ мониторинг на вътрешните състояния на AI агенти
- Многообразия на вниманието: Контрол на езикови модели чрез B-spline геометрични повърхности
- Лингвистическа нечетливост: Защо езиковият контрол не стига за сигурността на ИИ