Невронен процесор за Android (Android NPU)

Android NPU (Neural Processing Unit) е специализиран хардуерен ускорител, интегриран в съвременните мобилни системи върху чип (SoC) за устройства под управлението на операционната система Android, оптимизиран за паралелни тензорни изчисления и ефективно изпълнение на невронни мрежи с ниска латентност и минимален разход на енергия.

Архитектура и оптимизации

1. Тензорни матрични блокове: NPU ядрата са проектирани специално за ускоряване на матрични умножения (GEMM), типични за трансформърните архитектури и конволюционните мрежи.
2. Нискобитова прецизност: Поддръжка на апаратна аритметика с ниска точност – FP16, INT8, INT4 и експериментално 1-2 битови тегла, което позволява изпълнение на локални езикови модели с милиарди параметри директно в паметта на мобилното устройство.
3. Android NNAPI и съвременни HAL интерфейси: Интеграция чрез абстрактни софтуерни слоеве на Android (като Android Neural Networks API и специализирани производителски драйвери), които разпределят натоварването между NPU, GPU и CPU.
4. Енергийна ефективност при офлайн работа: Позволява непрекъсната работа на гласови модели, обработка на изображения и автономни асистенти в реално време без връзка с облачни центрове за данни.