Салваторе Санфилипо (antirez) представи Dwarfstar DS4: Минималистичен C runtime за локални невронни мрежи
Снимка: Salvatore Sanfilippo / GitHub Archive
Легендарният италиански програмист и създател на базата данни Redis Салваторе Санфилипо (antirez) взриви софтуерната общност, като публикува своя нов проект Dwarfstar DS4 – минималистичен енджин за изпълнение на невронни мрежи, написан изцяло на чист език C [1].
В епоха, доминирана от хиляди мегабайти зависимости на Python, тежки компилатори и сложни build системи, Санфилипо доказва, че съвременната локална инференция може да бъде реализирана в един-единствен, кристално четим файл от едва 4500 реда код, компилиращ се за части от секундата.
Философия на радикален минимализъм
Проектът Dwarfstar DS4 въплъщава класическите принципи на хакерската култура, превърнали Redis в световен стандарт за производителност:
- Нулеви външни зависимости: За компилация не се изискват CMake, BLAS библиотеки, CUDA драйвери или Python среда. Достатъчен е стандартен POSIX C компилатор (
gcc dwarfstar.c -O3 -o dwarfstar). - Ръчно векторизирани ядки: Вместо да разчита на външни математически пакети, Санфилипо е написал собствени векторни инструкции за AVX-512 (Intel/AMD) и Neon (Apple Silicon / ARM64), поддържащи 4-битова и 8-битова квантизация.
- Памет без разхищение (Zero-allocation): Моделните тегла се зареждат директно в паметта чрез системен призив
mmap(), елиминирайки нуждата от динамично заделяне на буфери по време на генерация на токени в този софтуерен runtime.
„Съвременният софтуер страда от болестта на безкрайните абстракции. За да стартирате обикновен модел, често ви трябват 20 гигабайта пакети и часове настройка на зависимости. Dwarfstar е демонстрация, че с ясна математика и директен C код компютрите днес са способни на невероятни чудеса без никакъв баласт,“ написа Санфилипо в своя блог [1].
Производителност и съвместимост
Въпреки изумително компактния си размер, Dwarfstar DS4 демонстрира производителност, съпоставима с най-напредналите проекти в индустрията като llama.cpp:
- Скорост на генерация: На процесор Apple M3 Max моделът Llama-3-8B (квантизиран в 4 бита) постига над 48 токена в секунда при пълно насищане на пропускателната способност на паметта.
- Вграждане навсякъде: Благодарение на минималистичния дизайн енджинът може да бъде вграден директно в индустриални контролери, терминали, операционни системи и дори стари архитектури.
- Лиценз BSD 2-Clause: Кодът е предоставен под либерален лиценз, позволяващ безпрепятствено комерсиално и любителско използване.
Инженерен коментар и значение
Появата на Dwarfstar DS4 е мощен шамар срещу съвременната култура на софтуерно пресищане. В свят, където дори най-простият софтуерен инструмент идва с десетки гигабайти контейнери, работата на antirez припомня изгубеното изкуство на прецизното инженерство.
В дългосрочен план подобни минималистични среди за инференция са от ключово значение за бъдещето на автономния софтуер. Когато изкуственият интелект трябва да работи в критична инфраструктура, медицински устройства или космически апарати, където всеки байт памет и всяка възможност за бъг в зависимост са фатални, простият, одитируем C код остава ненадминат златeн стандарт.
Инфографика: Архитектурни принципи и производителност на минималистичния C енджин Dwarfstar DS4