AWS Trainium

AWS Trainium е второ поколение специализиран полупроводников чип за дълбоко машинно обучение, проектиран от Annapurna Labs (дъщерно дружество на Amazon Web Services), предназначен за високопроизводително и ценово ефективно обучение и мащабно извличане на заключения (inference) за езикови модели с над 100 милиарда параметри.

Технически спецификации

1. Архитектура NeuronCore: Всеки чип съдържа специализирани изчислителни двигатели с пълна поддръжка на типовете данни FP32, TF32, BF16, FP8 и INT8, съчетани с високоскоростна локална SRAM памет.
2. NeuronLink свързаност: Високоскоростен интерконект от ново поколение, който позволява директна комуникация между хиляди чипове Trainium в клъстери EC2 UltraClusters без латентността на стандартните мрежови протоколи.
3. AWS Neuron SDK: Единен софтуерен компилатор и стек от инструменти за безпроблемно пренасяне на модели от PyTorch и JAX към архитектурата на чипа.
4. Икономическа алтернатива на GPU: Осигурява до 50% по-ниски разходи за изчисления в сравнение с еквивалентни GPU клъстери на Nvidia, превръщайки се в стратегически стълб за компании като Anthropic.