Apple Silicon
Apple Silicon е семейството системни чипове (SoC) на Apple от серията M и A, изградени върху ARM архитектура с унифицирана памет (Unified Memory Architecture).
Архитектурни предимства за локален AI
- Унифицирана памет (UMA): Позволява на графичните ядра и невропроцесора да адресират до 128 GB или 192 GB споделена памет без дублиране на данни през PCIe.
- Огромна пропускателна способност: Високата скорост на шината на паметта (от 100 GB/s до над 800 GB/s при Max и Ultra чиповете) елиминира тесното гърло при генериране на токени.
- Енергийна ефективност: Възможност за локално изпълнение на 70B параметрови модели на лаптоп при минимална консумация на електроенергия.
- Neural Engine: Специализиран хардуерен блок за тензорни операции с ниско квантуване (INT8, FP16, 1.5 bpw).
Apple Silicon превърна компютрите Mac в предпочитана работна станция за изследователи и разработчици на отворени модели.