Проектът Maple постигна суб-2 бита прунинг за MoE модели, подкарвайки Gemma 4 26B с 45 токена/сек на 6GB GPU
Източник: Jacek Halicki / Wikimedia Commons
Иновативният изследователски проект с отворен код Maple демонстрира безпрецедентен технологичен напредък в областта на квантизацията и компресията на невронни мрежи [1]. Чрез прилагане на суб-2 бита на тегло (sub-2-BPW) прунинг върху модела Gemma 4 26B MoE, разработчиците успяха да постигнат стабилна скорост от 45 токена в секунда върху масов потребителски графичен процесор с едва 6 GB памет, разширявайки възможностите на отворените тегла.
Избирателен експертен прунинг и ентропийна компресия
Архитектурата на Mixture-of-Experts традиционно страда от огромен общ отпечатък в паметта, въпреки че за всеки отделен токен се активират само малка част от експертите. Maple решава това чрез динамичен анализ на активациите, идентифицирайки и напълно премахвайки 40% от най-рядко използваните експертни блокове. Останалите тегла се кодират чрез асиметрична векторна квантизация с променлива дължина.
Запазване на логическите способности без деградация
Стандартизираните тестове за програмиране и езиково разбиране показват минимален спад на точността — по-малко от 2.3% спрямо оригиналния 16-битов базов модел. Това прави възможно разгръщането на професионални кодиращи асистенти на евтини лаптопи и крайни устройства без зависимост от скъпи облачни абонаменти.
Демократизацията на изчислителната мощ и краят на хардуерния монопол
Успехът на Maple доказва, че ефективността на софтуерните алгоритми може да компенсира хардуерните дефицити. През последните години индустрията бе доминирана от схващането, че качественият AI изисква центрове за данни за милиарди долари. Пробиви като суб-2-BPW компресията обаче преобръщат това уравнение, връщайки контрола в ръцете на независимите разработчици и крайните потребители. Това ще стимулира вълна от истински децентрализирани, локални AI приложения, които гарантират абсолютна неприкосновеност на личните данни.
Анализ на суб-2-BPW квантизацията, експертния прунинг и запазената точност.