Google представи LiteRT Tensor API за адаптивно квантуване на модели директно на устройството
Източник: 林宏弘 / Wikimedia Commons
Софтуерният гигант Google обяви официалното пускане на новия помощен пакет LiteRT Tensor API — фундаментално разширение на платформата за периферно машинно самообучение (бившия TensorFlow Lite) [1]. Новият интерфейс позволява на разработчиците не само да изпълняват предварително обучени модели, но и динамично да компилират, квантуват и дообучават тензорни слоеве директно върху мобилни NPU и GPU чипове.
Динамично смесване на типове данни (Dynamic Mixed-Precision Fusion)
LiteRT Tensor API автоматично анализира натоварването на конкретния мобилен SoC и разделя изчислителния граф: линейните слоеве се квантуват до 4-битови цели числа (INT4), докато критичните матрици на вниманието запазват 16-битов плаващ формат (FP16).
Тази гъвкава фузия осигурява до 2.8 пъти по-висока скорост на токенизация спрямо конвенционалните TFLite пайплайни, спестявайки ценен живот на батерията.
Хардуерно-агностична съвместимост през Qualcomm, MediaTek и ARM
Интерфейсът абстрахира специфичните особености на различните мобилни ускорители чрез единен слой за хардуерно ускорение. Разработчиците пишат кода веднъж и получават максимална производителност както на флагмански Snapdragon чипове, така и на бюджетни платформи.
Инфографика: Аналитичен преглед на Svetni.me
Скритият двигател на персонализирания изкуствен интелект
Възможността за адаптивно дообучаване на малки модели директно върху смартфона е ключът към преодоляване на компромиса между персонализация и поверителност. С LiteRT Tensor API личните асистенти могат да се адаптират към специфичния диалект или работни навици на собственика, без нито един байт лична информация да напуска устройството.
Това бележи прехода от статични фабрични модели към динамични софтуерни организми, развиващи се непрекъснато в ръцете на крайния потребител.