Apple Neural Engine (ANE)

Apple Neural Engine (ANE) е специализиран копроцесор, интегриран във всички съвременни чипове на Apple за мобилни телефони, таблети и компютри Mac.

Архитектура и оптимизации

1. Тензорна ефективност: Извършване на трилиони операции в секунда (TOPS) с минимално нагряване и консумация на батерия.
2. Поддръжка на екстремно квантуване: Демонстрации на изпълнение на Qwen3.8-27B при 1.5 bpw със скорост до 70 токена/сек директно на iPhone 18.
3. Хардуерно управление на матрици: Оптимизиран за операции тип FP16 и INT8 умножение с натрупване.
4. Интеграция с Core ML: Автоматично разпределение на слоевете на модела между CPU, GPU и ANE за максимална пропускателна способност.

Neural Engine превръща потребителските смартфони в мощни локални AI терминали без нужда от облачна връзка.