Дезагрегиран инференс (Disaggregated Inference)
Дезагрегираният инференс (Disaggregated Inference) е системна архитектура за обслужване на големи езикови модели, която физически разделя изчислително тежката фаза на първоначална обработка на контекста (prefill) от ограничената от паметта фаза на по-нататъшно генериране на токени (decode) върху отделни хардуерни възли.
Чрез елиминиране на взаимната интерференция между двете фази, дезагрегираният инференс максимизира използването на изчислителните ресурси и драстично намалява времето до първия токен (TTFT) и общата латентност.