Jeffy: Локален енджин за класификация на текст върху стари процесори без нужда от GPU
Снимка: GitHub / Hacker News Archive
В софтуерната общност избухна огромен интерес около отворения проект Jeffy – минималистичен енджин за семантична класификация на текст и документи, разработен да се изпълнява директно върху евтини централни процесори без никаква нужда от графични ускорители или тежки фреймуърци [1].
Проектът, разпространяван с отворен код (Open Source), представлява мощен шамар срещу съвременната мода да се използват гигантски езикови модели от 70 милиарда параметъра за тривиални задачи като сортиране на имейли, разпознаване на спам или категоризация на тикети за поддръжка.
Безумието на гигаватните чатботове за прости задачи
През последните две години корпоративната софтуерна индустрия попадна в капана на огромните модели: компании плащаха милиони за GPU облачен капацитет, само за да подават входящи текстове към скъпи API клъстери, питайки ги дали даден отзив е „позитивен“ или „негативен“.
Jeffy доказва, че ефективната инференция върху процесори (CPU Inference) предлага в пъти по-добра скорост и икономичност:
- Над 450 класификации в секунда на едно ядро: На обикновен стар лаптоп или малък виртуален сървър софтуерът обработва стотици документи за части от секундата, изпреварвайки облачните API връзки стотици пъти по латентност.
- Потресаващо нисък разход на памет (под 16 MB): Благодарение на дълбоко компресирани векторни проекции моделът работи безпроблемно в скромната оперативна памет на индустриални рутери и стари едноплаткови компютри.
- Стартиране за под 4 милисекунди: За разлика от тежките Python библиотеки (PyTorch, TensorFlow), които изискват секунди за зареждане, бинарният файл на Jeffy се стартира мигновено от командния ред.
„Ние не се нуждаем от суперкомпютър, за да разберем дали един клиент иска възстановяване на сума или промяна на адрес. Използването на трилионни модели за базова класификация е екологично и икономическо безумие,“ написа авторът на проекта в Hacker News [1].
Приложение във вградените системи (Embedded Systems)
Компактният дизайн прави софтуера изключително подходящ за локална инференция в защитени среди:
- Пълна изолация без интернет (Air-gapped): Банки, болници и държавни агенции могат да филтрират и класифицират поверителни документи без нито един байт да напуска вътрешната мрежа.
- Работа на микроконтролери: Проектът е компилиран успешно за чипове ESP32-S3 и архитектури ARM Cortex-M, консумирайки под половин ват енергия.
- Еднокликова интеграция: Инструментът предоставя прост CLI интерфейс и C библиотека за вграждане в съществуващи софтуерни системи.
Инженерен коментар
Възходът на проекти като Jeffy отразява съзряването на технологичната общност. След първоначалната еуфория около генеративния AI инженерите си спомнят фундаменталните принципи на компютърната архитектура: най-добрият софтуерен инструмент е този, който решава конкретната задача с минимално възможното количество ресурси.
Ерата на сляпото пилеене на мегавати за елементарна класификация отстъпва място на дисциплинирания, минималистичен инженеринг.
Инфографика: Консумация на памет, скорост на класификация на CPU и архитектурни предимства на Jeffy