TrnRT: Двигател с отворен код на C++ ускорява инференса на езикови модели върху чиповете AWS Trainium

Публикувано от Svetni.me Editorial на 17 ноември 2026 г. в Изкуствен интелект

Архитектурна диаграма и програмен код на двигателя TrnRT за ускорители AWS Trainium
Източник: GitHub / RunanywhereAI

Инженерният екип на RunanywhereAI публикува с отворен код проекта TrnRT — високопроизводителен двигател за инференс на големи езикови модели, написан от нулата за специализираните ускорители Trainium на AWS [1]. Според документацията в GitHub и дискусията в Hacker News проектът цели да направи алтернативния облачен силиций също толкова лесен и бърз за използване, колкото е TensorRT-LLM върху графичните процесори на NVIDIA.

Преодоляване на софтуерната бариера пред AWS Trainium

Въпреки че собствените чипове AWS Trainium и Inferentia предлагат отлично съотношение между цена и теоретични терафлопи в облака на Amazon, много инженерни екипи се отказват от тях заради сложността на официалния софтуерен стек Neuron SDK и дългото време за компилация на графите.

TrnRT решава този проблем чрез лека изпълнителна среда на C++ и нисконивови ядра (NeuronKernels), които комуникират директно с хардуерния слой без тежките абстракции на стандартните Python рамки и общи компилатори.

PagedAttention, непрекъснато пакетиране и квантизация

Двигателят имплементира нативно управление на KV-кеша чрез страниране на паметта (PagedAttention), непрекъснато динамично пакетиране на заявките (continuous batching) и оптимизирани ядра за популярни отворени фамилии като Llama, Qwen и Mistral.

Резултатът е значително намаляване на латентността до първия токен (TTFT) и по-високо натоварване на систоличните матрични блокове на полупроводниците Trainium при продукционни натоварвания.

Отвореният софтуер като ключ към деблокирането на алтернативния AI силиций

Появата на независими проекти като TrnRT удря в сърцевината на най-голямото конкурентно предимство в AI индустрията — софтуерния ров на CUDA. Хиперскейлърите като AWS, Google и Meta вече разполагат със собствен силиций, но изостават в зрелостта на общностните инструменти за разработчици.

Когато общността с отворен код изгради бързи, модулни и лесни за внедряване двигатели за инференс върху не-NVIDIA архитектури, миграцията на корпоративните натоварвания към по-евтини облачни инстанции ще се ускори драстично.

TrnRT ускорява LLM инференса върху AWS Trainium
Инфографика: Аналитичен преглед на Svetni.me

Източници

  1. Show HN: TrnRT – An open-source LLM inference engine for AWS Trainium - GitHub / Hacker News