GPU-Unlock: Премахване на изкуствените лимити за FP/BF16 инструкции в графичните карти Nvidia RTX 3000
Източник: GitHub / Zagitta
В общността на нискоlevel хардуерните хакери и изследователите по отворен AI избухна истинска сензация след публикуването на проекта с отворен код GPU-Unlock, разработен от програмиста Zagitta: инструментът успешно премахва изкуствените софтуерни ограничения върху темпа на издаване на инструкции за плаваща запетая с половин прецизност (FP16 и BF16) в потребителските графични карти от серията Nvidia GeForce RTX 3000, базирани на архитектурата Ampere [1].
В резултат на модификацията потребителите отчитат скок в пропускателната способност на изчисленията до 2.5 пъти при изпълнение на съвременни големи езикови модели и матрични умножения в CUDA. Разкритието потвърди дългогодишните подозрения на хардуерните инженери, че Nvidia съзнателно скопява изчислителния капацитет на достъпните потребителски карти чрез фърмуера и драйверите, за да принуди бизнеса да купува десетократно по-скъпите професионални ускорители от серията A100.
Микроархитектурната дисекция: Как работи отключването
Проектът атакува нискоlevel планировчика на инструкции (Instruction Issue Scheduler) в графичните клъстери:
- Премахване на изкуствените забавяния (Clamping): В официалните драйвери изпълнението на FP16/BF16 инструкции без използване на Tensor Cores беше изкуствено ограничено до 1 инструкция на всеки 2 или 4 такта за даден SM (Streaming Multiprocessor), въпреки че физическите ALUs могат да поемат пълен темп на всеки такт.
- Патчване на JIT компилатора: Инструментът пренаписва междинния код (PTX) в момента на компилация, заменяйки забавящите инструкции с оптимизирани машинни последователности (SASS).
- Масивен скок при GPU оптимизацията: Локалните потребителски системи за квантуване, LoRA обучение и извличане на ембединги работят със забележимо по-ниска латентност и по-пълноценно натоварване на силициевия кристал.
Дългосрочни пазарни и индустриални последици
Успехът на GPU-Unlock има огромно практическо и морално значение за екосистемата на независимия изкуствен интелект. Милиони потребители по света притежават карти от серията RTX 3080 и 3090 (които разполагат с 24 GB VRAM), но се сблъскваха с изкуствено забавяне при работа с модерни формати като BF16. Вдъхването на нов живот на този съществуващ хардуерен парк намалява зависимостта на изследователите от скъпи облачни инстанции.
За Nvidia случаят е тежък PR гаф, напомнящ за скандалите около софтуерното ограничаване на криптомайнинга (LHR) преди няколко години. Той поставя под светлината на прожекторите практиката за пазарна сегментация чрез изкуствено влошаване на потребителските продукти. Това ще даде нов мощен тласък на движението за хардуер с отворен код (Open-Source Hardware) и алтернативни драйверни стекове, доказвайки, че истинският потенциал на полупроводниците принадлежи на хората, които са ги закупили.
Отключване на скрития FP/BF16 потенциал на потребителските видеокарти