TrnRT: Двигател с отворен код на C++ ускорява инференса на езикови модели върху чиповете AWS Trainium

Източник: GitHub / RunanywhereAI
Инженерният екип на RunanywhereAI публикува с отворен код проекта TrnRT — високопроизводителен двигател за инференс на големи езикови модели, написан от нулата за специализираните ускорители Trainium на AWS [1]. Според документацията в GitHub и дискусията в Hacker News проектът цели да направи алтернативния облачен силиций също толкова лесен и бърз за използване, колкото е TensorRT-LLM върху графичните процесори на NVIDIA.
Преодоляване на софтуерната бариера пред AWS Trainium
Въпреки че собствените чипове AWS Trainium и Inferentia предлагат отлично съотношение между цена и теоретични терафлопи в облака на Amazon, много инженерни екипи се отказват от тях заради сложността на официалния софтуерен стек Neuron SDK и дългото време за компилация на графите.
TrnRT решава този проблем чрез лека изпълнителна среда на C++ и нисконивови ядра (NeuronKernels), които комуникират директно с хардуерния слой без тежките абстракции на стандартните Python рамки и общи компилатори.
PagedAttention, непрекъснато пакетиране и квантизация
Двигателят имплементира нативно управление на KV-кеша чрез страниране на паметта (PagedAttention), непрекъснато динамично пакетиране на заявките (continuous batching) и оптимизирани ядра за популярни отворени фамилии като Llama, Qwen и Mistral.
Резултатът е значително намаляване на латентността до първия токен (TTFT) и по-високо натоварване на систоличните матрични блокове на полупроводниците Trainium при продукционни натоварвания.
Отвореният софтуер като ключ към деблокирането на алтернативния AI силиций
Появата на независими проекти като TrnRT удря в сърцевината на най-голямото конкурентно предимство в AI индустрията — софтуерния ров на CUDA. Хиперскейлърите като AWS, Google и Meta вече разполагат със собствен силиций, но изостават в зрелостта на общностните инструменти за разработчици.
Когато общността с отворен код изгради бързи, модулни и лесни за внедряване двигатели за инференс върху не-NVIDIA архитектури, миграцията на корпоративните натоварвания към по-евтини облачни инстанции ще се ускори драстично.

Инфографика: Аналитичен преглед на Svetni.me