Anthropic разширява водното маркиране на текст към по-стари модели: Цената върху ентропията и качеството
Източник: Mashable / Keyvan
Лабораторията Anthropic обяви, че разширява технологията си за вградено криптографско и статистическо водно маркиране на текст към по-стари версии на Claude [1]. Мярката цели да отговори на регулаторните изисквания в ЕС и САЩ, но независими анализи показват, че изкуственото манипулиране на вероятностите за следващ токен води до измерим спад в ентропията и креативното качество на изхода.
Механика на статистическото разделяне на зелени и червени списъци
Технологията за водно маркиране използва псевдослучайна хеш функция, базирана на предходния n-грам, за да раздели речника на модела на „зелен“ и „червен“ списък. При генерация моделът добавя математическо отклонение (bias) към лоджитите на токените от зеления списък, оставяйки статистически невидим за човека, но лесно откриваем от верификационни алгоритми шаблон.
Деградация на ентропията при задачи с висока сложност
Когато моделът решава прецизни математически или софтуерни задачи, където верният токен е строго детерминиран, изкуственото фаворизиране на „зелени“ токени води до грешки при компилация и логически халюцинации. Авторите на изследването документират до 4.2% спад в точността при бенчмаркове за синтез на алгоритми.
Дълбокият конфликт между регулаторен контрол и моделиерна производителност
Разширяването на водното маркиране към базовите модели илюстрира фундаменталната дилема пред създателите на изкуствен интелект: как да изпълнят правителствените изисквания за отчетност без да осакатят интелектуалния капацитет на мрежите. Всяка намеса в свободното разпределение на вероятностите ограничава способността на модела да избира най-точния възможен израз. Ако комерсиалните лаборатории продължат да налагат задължителни водни знаци, най-взискателните корпоративни потребители — инженери, учени и финансови анализатори — бързо ще мигрират към чисти отворени архитектури, които не компрометират логическата си строгост в името на държавния надзор.
Анализ на зелените списъци, ентропийния колапс и спада в математическата точност.