Инференция върху процесори (CPU Inference)

Инференцията върху процесори (CPU Inference) е изпълнението на невронни мрежи върху стандартни централни процесори с помощта на векторни инструкции (AVX-512, AMX, Neon).

Благодарение на напреднала квантизация и минималистичен C код, инференцията на CPU предлага висока енергийна ефективност и ниска цена за леки модели.