Qualcomm анонсира ускорителя Cloud AI 100 Ultra с ниска консумация от 150 вата за дейта центрове
Източник: Qualcomm / TechCrunch
В директно предизвикателство към доминацията на енергоемките ускорители на пазара Qualcomm официално представи новата си флагманска карта за центрове за данни: Cloud AI 100 Ultra [1]. Устройството се отличава с изключително нисък термичен пакет от едва 150 вата, като същевременно предлага 128 GB специализирана памет с трансфер от 548 GB/s, осигурявайки ненадмината енергийна ефективност при масово изпълнение на езикови модели.
Енергийната криза отваря ниша за специализирани карти за inference
Докато обучението на водещи модели изисква чудовищни 700-ватови и 1000-ватови GPU като тези от сериите Blackwell на Nvidia, текущото изпълнение на заявки в бизнеса страда от липса на ток в центровете за данни. Решението на Qualcomm позволява на операторите да утроят броя на обслужваните заявки в рамките на същия наличен енергиен лимит на сървърния шкаф, спестявайки милиони долари от климатизация и електроенергия.
Оптимизация за дълъг контекст и паралелни сесии
Благодарение на щедрия буфер от 128 GB памет, една единствена карта Cloud AI 100 Ultra може да хоства модели от класа на Llama 3 70B при 4-битово квантуване или да поддържа стотици паралелни сесии с дълъг контекст за обслужване на корпоративни клиенти без нужда от скъпи мулти-GPU конфигурации.
Пренареждане на икономиката на дейта центровете в полза на ват-ефективността
Появата на Cloud AI 100 Ultra е част от по-широка тенденция на специализация в силициевата индустрия. Времето, когато един универсален графичен процесор обслужваше както научни изследвания, така и евтини уеб търсения, безвъзвратно отминава. Бъдещето на центровете за данни принадлежи на хетерогенни архитектури, където тежките тренировки се извършват на свръхмощни клъстери, а милиардите ежедневни заявки се поемат от свръхефективни чипове с ниска консумация.
Анализ на енергийната плътност, 128 GB паметта и икономиката на охлаждане в дейта центровете.