HBM (High Bandwidth Memory)
High Bandwidth Memory (HBM) е високопроизводителен интерфейс за RAM памет, използващ вертикално подреждане (stacking) на чипове. HBM е критичен компонент в съвременните ИИ ускорители като NVIDIA H100, тъй като осигурява огромната скорост на трансфер на данни, необходима за зареждане на теглата на големите езикови модели (LLM). В момента HBM често е „проблемната област“ (bottleneck) в икономиката на ИИ производството.
Споменавания в статии
- Пазарният парадокс: Защо NVIDIA се оказа жертва на собствения си успех
- Физическите ограничения на изкуствения интелект: Как ИИ пренаписа правилата за центровете за данни
- Хардуерен арбитраж: Как ентусиасти подкарват сървърни GPU на PCIe за евтини локални LLM
- Скритата икономика на LLM: Битката за памет и токени
- Google избягва „данъка NVIDIA“: Новите TPU чипове обясняват защо