Nvidia инвестира в индийски стартъп за ускоряване на AI модели с драстично по-малко графични процесори
Източник: Nvidia / TechCrunch
Венчърното подразделение на Nvidia оглави стратегически инвестиционен рунд в базирания в Бангалор стартъп за софтуерна оптимизация, разработващ алгоритми за изпълнение на фундаментални невронни мрежи с драстично намален брой графични процесори (GPU) [1]. Технологията позволява на предприятия с ограничен хардуерен бюджет да разгръщат модели със стотици милиарди параметри върху скромни сървърни конфигурации.
Спекулативно декодиране и динамично изрязване на слоеве (Layer Pruning)
Стартъпът патентова компилаторен енджин, който комбинира агресивно 3-битово квантуване с динамично изрязване на слоеве в реално време. За разлика от класическото статично компресиране, което поврежда прецизността на модела, новата система оценява сложността на всяка отделна входяща заявка (prompt).
За лесни задачи моделът прескача до 60% от трансформърните блокове, освобождавайки пропускателна способност на паметта (HBM) за паралелни потребители. При сложни логически въпроси енджинът динамично активира пълния капацитет, комбинирайки го със спекулативно декодиране, при което лек модел чернова бързо генерира токени, а големият модел ги валидира наведнъж с един паралелен пропуск.
Стратегическият интерес на Nvidia: Разширяване на пазара извън хиперскейлърите
На пръв поглед изглежда парадоксално най-големият производител на чипове да финансира компания, чиято мисия е намаляването на броя на купуваните процесори. За Nvidia обаче инвестицията е дългосрочен стратегически ход за демократизиране на нейната платформа CUDA в бързоразвиващите се пазари като Индия, Югоизточна Азия и Латинска Америка, където повечето корпорации не могат да си позволят клъстери от милиони долари.
Преходът от сурова хардуерна сила към алго-ефективност
Инвестицията на Nvidia в Индия подчертава неизбежната траектория на технологичния сектор. Първата фаза от надпреварата за изкуствен интелект бе доминирана от груба сила – строеж на мегаватови центрове и изкупуване на всички налични силициеви пластини. Втората фаза обаче ще принадлежи на алгоритмичната ефективност.
Софтуерните иновации, които извличат петократно повече полезна работа от съществуващия хардуер, не намаляват общото потребление на чипове, а напротив – отключват огромен скрит пазар на милиони малки предприятия, болници и образователни институти. Този процес превръща суверенния и локален интелект от привилегия на шепа свръхбогати държави в достъпен комунален ресурс за целия свят.
Четири стълба на високоефективния AI инференс на достъпен хардуер