Qualcomm представи два нови чипа за смартфони с поддръжка на 30-милиардни MoE модели локално
Изображение: Svetni.me / ИИ генерирано изображение
Американският производител на полупроводници Qualcomm представи две нови мобилни платформи от серията Snapdragon, поставящи силен акцент върху локалния изкуствен интелект. Най-високият клас чипсет въвежда революционна възможност: изпълнение на големи езикови модели със смес от експерти (Mixture-of-Experts, MoE) с общ обем до 30 милиарда параметъра директно в джоба на потребителя [1].
Изображение: Svetni.me / ИИ генерирана инфографика
Премиерата бележи ключов крайъгълен камък в развитието на периферните изчисления, премахвайки дългогодишната зависимост на мобилните интелигентни асистенти от отдалечени облачни центрове за данни [1].
MoE архитектурата навлиза в мобилните телефони
Изпълнението на 30-милиарден модел върху смартфони става възможно благодарение на архитектурата със смес от експерти. Вместо да активира всички невронни параметри при всяка дума, системата динамично активира само малка специализирана подгрупа от тегла (например 3 до 6 милиарда активни параметъра) в зависимост от характера на въпроса.
Това драстично съкращава консумацията на енергия и изискванията към пропускателната способност на паметта, позволявайки генериране на текст в реално време без прегряване на устройството и прекомерно изтощаване на батерията [1].
Пълна автономност и цифрова неприкосновеност
Новият NPU блок на Snapdragon обработва локално гласови команди, редактиране на мултимедия и синтез на документи, без никакви данни да напускат смартфона.
Тази пълна изолация предлага двойно предимство: моментално време за реакция (zero network latency) и категорична защита на личната информация. С тези два чипа Qualcomm дава силен сигнал на производителите на смартфони, че бъдещата битка за пазарен дял ще се решава от способността на хардуера да осигури интелигентно потребителско изживяване в офлайн режим [1].
Източници:
[1]: Qualcomm launches two new smartphone chips with emphasis on AI - TechCrunch