Дивергенция на Кулбак-Лайблер

Дивергенцията на Кулбак-Лайблер (Kullback-Leibler divergence, KL divergence), известна още като относителна ентропия, е статистическа мярка за разликата между две вероятностни разпределения. В областта на машинното обучение и изкуствения интелект тя се използва широко като функция на загуба (loss function) при задачи за дестилация на знание. Чрез нея моделът-ученик оптимизира своите предсказания, минимизирайки разминаването спрямо вероятностните изходи (logits), получени от модела-учител.