Моделна дестилация (Knowledge Distillation)

Моделната дестилация е метод в дълбокото обучение, при който компактен модел (student) се обучава да възпроизвежда поведението, представянето и вероятностното разпределение на по-голям и сложен базов модел (teacher).

Приложения и индустриално значение

• Ефективност на изводите: Създаване на бързи модели с ниска латентност, подходящи за работа на крайни устройства и персонални компютри.
• Интелектуална собственост: Често използвана за нерегламентирано извличане на знания от комерсиални затворени модели чрез генериране на синтетични масиви през външни API.
• Намаляване на изчислителния отпечатък: Спестяване на мегавати енергия при масови корпоративни работни натоварвания.