Дистилация (Distillation)

Знаниевата дистилация е процес в машинното обучение, при който по-малък, по-ефективен модел (наричан „ученик“) се обучава да имитира поведението и изхода на много по-голям и сложен модел (наричан „учител“).

Как работи

Вместо да се обучава директно върху необработени данни, моделът-ученик се опитва да предвиди вероятностите, които моделът-учител генерира. По този начин ученикът улавя не само верните отговори, но и нюансите и връзките, които огромният модел е открил.

Защо е важна през 2026 г.

• Ефективност: Позволява на мощни способности на ИИ да работят локално на смартфони и лаптопи.
• Скорост: Дистилираните модели са много по-бързи за изпълнение (inference).
• Цена: Намалява разходите за инфраструктура, като същевременно запазва голяма част от точността на гигантския модел.

Много от „малките“ модели днес (като Llama-3-8B или Claude Haiku) използват техники на дистилация, за да предложат производителност, която преди е била възможна само за модели с трилиони параметри.