Дистилация на модели

Дистилацията на модели е основен инструмент за създаване на високопроизводителни специализирани модели с ниска латентност.

Механизъм

1. Пренос на вероятности: Обучение на малкия модел върху меките вероятностни изходи (Soft Labels) на големия модел.
2. Специализация: Премахване на общите енциклопедични знания в полза на екстремна прецизност в конкретна тясна задача.
3. Икономия на ресурси: Свиване на размера на параметрите от 70B до под 1B с минимална загуба на качество.
4. Локално разгръщане: Възможност за изпълнение на дистилирания модел върху мобилни устройства и крайни сървъри.