Локалният ИИ не е просто по-лош Claude Opus, а напълно различен инструмент
В технологичната общност често се прокрадват твърдения, че локалните езикови модели с отворен код като Qwen 3.6 27B или 35-A3B вече достигат нивата на водещите комерсиални модели като Claude Opus. Основателят на платформата OpenFaaS Алекс Елис споделя своята гледна точка, базирана на реален бизнес опит и поддръжка на софтуерни продукти [1]. Според него локалните модели не могат да заменят изцяло комерсиалните системи за сложна софтуерна разработка, но представляват напълно различен и ценен инструмент с конкретни приложения.
Елис признава, че за ежедневната си работа като софтуерен инженер все още разчита на комерсиални инструменти като Claude и Codex. Локалният изкуствен интелект обаче заема ключово място в неговата компания поради три основни фактора: суверенитет на данните, предвидимост на разходите и защита срещу риска от прекъсване на външни услуги.
Защо разработчиците се насочват към локален ИИ?
Основният стимул за преминаването към локални модели е суверенитетът и поверителността на данните [1]. Разработчиците на инфраструктурен софтуер често работят с корпоративни клиенти, които имат строги изисквания към контрола на информацията. Анализирането на конфигурации, телеметрия или диагностични отчети (като тези от инструмента diag на OpenFaaS) не може да се извършва в облачни платформи поради риск от изтичане на чувствителни данни или нарушаване на договорите. Локалните среди, разположени в изолирани виртуални машини чрез платформи като SlicerVM, решават този проблем изцяло.
Вторият фактор е цената. Въпреки че ИИ плановете за крайни потребители са субсидирани, разработването на сложни агентски вериги (agent loops) с чести заявки към API интерфейси на комерсиални модели може бързо да доведе до огромни сметки. Като пример се посочва решението на Uber да наложи месечен лимит от 1500 долара за ИИ инструменти на разработчик. Локалните модели предлагат неограничена обработка с нулев маргинален разход за заявки.
Третият фактор е вендорният риск. Внезапното спиране на достъпа до модели като Anthropic Fable 5 за потребители извън САЩ показа, че зависимостта от един доставчик на услуги е сериозна уязвимост за бизнеса [1]. Локалният модел е гаранция за непрекъсваемост на процесите.
Ограниченията на локалния ИИ: Къде се проваля Qwen?
Въпреки високите си резултати на хартия (Qwen 3.6 27B постига 77,2% на SWE-Bench Verified спрямо 88,6% при Claude Opus 4.8), локалните модели имат сериозни практически слабости [1]:
- Безкрайни цикли (looping): Това е най-сериозният проблем при локалните модели, особено когато са подложени на дългосрочни и сложни задачи. Моделът лесно се „заклещва“ и започва да повтаря едни и същи команди безкрайно, като в един от примерите консумира 600W енергия в продължение на половин час, генерирайки идентичен текст.
- Аритметични грешки: Моделите често се провалят при базови изчисления (например разчитане на 27,3K като 273 000). Това налага непрекъсната проверка на техните отговори от човек.
- Ефект на квантизацията: За да се поберат в потребителски графични карти, моделите се компресират (квантизират). Агресивната квантизация (например под Q8_0 за ключове и Q4_0 за стойности в KV кеша) рязко влошава способността за разсъждение и паметта на модела.
Еволюция на хардуера и бърза възвращаемост
Първоначалните експерименти с една или две карти RTX 3090 през 2023 г. са били съпътствани от технически затруднения, лошо управление на паметта и бавна производителност на софтуер като vLLM при единични потребители [1]. Това налага преминаването към професионален клас хардуер.
Компанията инвестира 12 000 долара в професионална графична карта NVIDIA RTX 6000 Pro Blackwell Edition (96GB VRAM). Инвестицията се възвръща напълно в рамките на 2-3 месеца:
- Локален модел е използван за анализ на неструктурирана база данни с телеметрия на клиентите.
- Моделът открива несъответствие в отчитането на лицензи, при което клиент е използвал 4-5 пъти повече ресурси, отколкото е плащал.
- Събирането на пропуснатите приходи от този единствен договор покрива цената на скъпата графична карта.
Локална софтуерна конфигурация
В момента екипът използва базовата версия на Qwen 3.6 27B и неговия фино настроен вариант Qwopus (който добавя Chain of Thought разсъждения върху базовия модел) [1]. За целта се използват две независими инстанции на llama-cpp, за да се запази пълната дължина на контекстния прозорец (без изкуствено разделяне на паметта чрез паралелни заявки).
Параметрите за стартиране включват:
- Спекулативно декодиране (Speculative Decoding): Чрез MTP (Multi-Token Prediction) се постига 93% одобрение на генерираните токени, което вдига скоростта на генериране от 67 до 130-200 токена в секунда.
- Настройки на температурата: За базовия Qwen се използва температура от 0,6 с разпределен бюджет за разсъждения (reasoning budget). За Qwopus се изключва режимът на разсъждения, но температурата се вдига до 0,85–1,0 за по-креативни и точни софтуерни решения.
Локалният изкуствен интелект не е директен заместител на Claude Opus за комплексно писане на код и автономно ревю на код, а специализиран и ефективен инструмент за обработка на поверителна информация, бърза локална диагностика и автоматизиран анализ [1].
Изображение: Svetni.me / Авторско изображение
Източници: