Google представи LiteRT Tensor API: Нов стандарт за оптимизирано машинно обучение на крайни устройства
Източник: Wikimedia Commons / quapan
Google официално представи следващата еволюционна стъпка в своята екосистема за локално машинно самообучение: LiteRT Tensor API [1]. Проектиран като съвременен, високопроизводителен наследник на класическия TensorFlow Lite, новият приложно-програмен интерфейс предоставя на разработчиците директен, нискостепенен контрол върху тензорните буфери и хардуерните невропроцесори (NPU) на мобилни телефони, таблети и IoT системи за ускоряване на on-device AI.
Нулево копиране на памет и директно ускорение на Gemma
Едно от най-големите архитектурни предимства на LiteRT Tensor API е механизмът за нулево копиране (zero-copy buffer sharing). Преди разработчиците трябваше да конвертират входните сензорни и аудио данни между системната RAM памет и специализираната памет на ускорителя, губейки ценни милисекунди и изтощавайки батерията. Новият API позволява на модели като Gemma 2B и Whisper да четат данни директно от камерата и микрофона без междинно копиране.
Кросс-платформена поддръжка за Android, iOS и Linux
Google залага на пълен хардуерен неутралитет, интегрирайки бекенди за Qualcomm Hexagon, MediaTek APU, Apple Neural Engine и ARM Ethos процесори. Това позволява на инженерите да компилират единен бинарен модел, който автоматично се самоконфигурира за максимална производителност в зависимост от устройството, на което се изпълнява.
Освобождаването на мобилните приложения от облачната зависимост
Пускането на LiteRT Tensor API маркира ускоряването на прехода към децентрализиран, локален интелект. Докато доскоро всяка по-сложна генеративна функция изискваше изпращане на потребителските данни към далечен център за данни, днес мобилните чипове разполагат с достатъчно мощ за автономно изпълнение. Това гарантира пълна поверителност на личните разговори, нулева латентност и непрекъсната функционалност дори в офлайн режим.
Анализ на нулевото копиране, хардуерните NPU бекенди и локалните модели Gemma.