Google LiteRT

Google LiteRT (Lite Runtime) е следващото поколение на технологията TensorFlow Lite, преработена от Google с акцент върху бързото изпълнение на съвременни LLM и дифузионни модели директно върху мобилни устройства и крайни чипове.

Архитектурни акценти

• Tensor API: Нисконивови примитиви за прецизно манипулиране на тензори, памет и алокация на буфери.
• Хардуерно делегиране: Пълна съвместимост с NPU модули на Qualcomm Snapdragon, Google Tensor и Apple Neural Engine.
• Квантизация и компресия: Поддръжка на 4-битови и 8-битови целочислени формати за минимизиране на използваната оперативна памет.