Смес от експерти (Mixture of Experts - MoE)

Mixture of Experts (MoE) е архитектурна техника в машинното обучение, при която само подмножество от параметрите на модела („експерти“) се активира за всяка отделна заявка. Това позволява изграждането на огромни модели (с трилиони параметри), които същевременно са изключително икономични, тъй като консумират по-малко изчислителна мощ и памет за генериране на всеки токен. Примери за такива модели са DeepSeek-V4 и Mixtral.