Компресиране на невронни мрежи (Model Compression)

Компресирането на модели позволява изпълнение на масивни архитектури на потребителски устройства и намалява оперативните разходи в центровете за данни.

Ключови методи

• Квантизация (Quantization): Преобразуване на теглата от 16-битова плаваща запетая към 8-битови, 4-битови или дори по-ниски целочислени формати (INT8, INT4, sub-2-bit).
• Прунинг (Pruning): Премахване на неактивни или маловажни тегла и цели експертни блокове при Mixture-of-Experts архитектури.
• Дистилация на знание: Обучение на компактен студентски модел, който имитира поведението на много по-голяма невронна мрежа.