Невронни вериги (Neural Circuits)
Невронните вериги (Neural Circuits) са функционални микроструктури в архитектурата на трансформаторите, действащи като завършени софтуерни подпрограми.
Структура и изследване
- Индукционни глави (Induction Heads): Вериги от механизми за внимание, отговорни за разпознаване на шаблони и продължаване на поредици.
- Модулност на теглата: Откритията, че сложни модели не са случайна каша, а високоструктурирани мрежи от специализирани вериги.
- Динамично активиране: Начинът, по който веригите си предават контекст през резидуалния поток (residual stream).
- Сигурност и редакция: Възможност за коригиране на нежелано поведение чрез избирателно изключване или промяна на конкретна верига без преобучение.
Разгадаването на невронните вериги е в основата на съвременната наука за безопасност на изкуствения интелект.