Дезагрегиран инференс (Disaggregated Inference)

Дезагрегираният инференс (Disaggregated Inference) е системна архитектура за обслужване на големи езикови модели, която физически разделя изчислително тежката фаза на първоначална обработка на контекста (prefill) от ограничената от паметта фаза на по-нататъшно генериране на токени (decode) върху отделни хардуерни възли.

Чрез елиминиране на взаимната интерференция между двете фази, дезагрегираният инференс максимизира използването на изчислителните ресурси и драстично намалява времето до първия токен (TTFT) и общата латентност.

Споменавания в статии