Пропускателна способност при инференция (Inference Throughput)

Пропускателната способност при инференция (Inference Throughput) измерва броя генерирани токени или изпълнени заявки за секунда от даден изчислителен клъстер.

Максимизирането на пропускателната способност при минимална консумация на ват енергия е ключов показател за икономическата жизнеспособност на AI платформите.