Пропускателна способност на паметта

Пропускателната способност на паметта (Memory Bandwidth) е най-критичният хардуерен параметър за производителността при извеждане на резултати (inference) от големи езикови модели.

Значение за локалния AI

  1. Тесното гърло на декодирането: При авторегресивно генериране всяка дума изисква презареждане на всички моделни тегла от паметта към чипа.
  2. Apple Silicon предимство: Чиповете M4 Pro/Max и Ultra достигат пропускателна способност от 273 до над 800 GB/s, позволявайки висока скорост на генерация.
  3. Квантуване (Quantization): Намаляването на размера на модела (напр. от 16 бита до 1.5 bpw) драстично намалява необходимия трансфер на данни за токен.
  4. Сравнение с GPU: Защо евтините графични карти с бавна VRAM се задъхват при модели над 14B параметри.

Пропускателната способност на паметта определя кои компютри могат реално да изпълняват модерни езикови модели на потребителско ниво.

Споменавания в статии