Mostik учи невронните мрежи да комуникират без думи чрез директна връзка на теглата

Изображение: Svetni.me / ИИ генерирано изображение

Според репортаж на технологичното издание Wired екип от руски математици е разработил нов метод, позволяващ на моделите с изкуствен интелект да си взаимодействат без генериране на междинен текст – процес, наподобяващ директна машинна телепатия [1]. Иновацията се разработва от стартъпа Mostik, ръководен от изпълнителния директор Саша Малишева и главния учен Станислав Смирнов, носител на Фийлдсов медал за 2010 г.

В основата на разработката стои изграждането на математически мост между вътрешните математически стойности в теглата (weights) на различните модели. Вместо една система да извежда текстови токени, които след това да се анализират от друга, способностите на голям флагмански модел могат да се пренасят директно към по-компактен модел, повишавайки неговата интелигентност с минимални изчислителни разходи [1].

Изображение: Svetni.me / ИИ генерирана инфографика

Математически мост вместо бавни текстови токени

В машинното обучение отдавна е известно, че обединяването на модели в ансамбли дава по-добри резултати от индивидуалните архитектури. Традиционният подход за съвместна работа обаче изисква извеждане на пълен текстов отговор от единия модел и подаването му като входна заявка към следващия, което отнема сериозно време и генерира високи финансови разходи [1].

Екипът на Mostik е намерил начин да заобиколи това ограничение, като свърже моделите на ниво латентни изчисления. По думите на Саша Малишева идеята се оприличава на популярния математически пример за колективното отгатване на теглото на прасе: осреднените предположения на група случайни наблюдатели са статистически по-точни от преценката на индивидуален експерт [1].

Ако технологията се утвърди в практиката, тя би могла да увеличи конкурентоспособността на моделите с отворени тегла спрямо затворените търговски платформи на компании като OpenAI и Anthropic [1].

Хибридна ефективност: 753 милиарда срещу 4 милиарда параметъра

За да демонстрира потенциала на концепцията, Mostik изгражда хибридна връзка между два отворени модела с различен мащаб. Екипът свързва най-голямата версия на GLM-5.2 със 753 милиарда параметъра с компактния модел Qwen-3.5 с 4 милиарда параметъра, пригоден за мобилни устройства [1].

Получената хибридна система постига производителност, намираща се точно по средата между двата индивидуални модела, но функционира на една двадесета (1/20) от оперативните разходи на пълния модел GLM-5.2 [1].

Паралелно с това Mostik използва същата методология, за да изгради модел, оглавил класирането в престижния бенчмарк за общ изкуствен интелект ARC-AGI 3 [1], [2]. Конкретните детайли около състезателната конфигурация все още се пазят в тайна с оглед на продължаващото състезание.

Краят на монолитните модели и домейновата специализация

Според Саша Малишева бъдещето на изкуствения интелект няма да принадлежи на огромни монолитни модели, нито на непрекъснатото мащабиране на обема от данни за обучение. Смисълът се корени в съчетаването на специализирани изчислителни модули [1].

Владимир Арустамян, технически лидер в компанията за софтуерен ИИ Lovable, отбелязва, че методът на Mostik би позволил безпроблемно сдвояване на водещи универсални модели с тесни системи, обучени за биология, физика или химия. По негова оценка работещото решение на екипа изпреварва очакваните срокове за подобна функционалност с години [1].

Карл Туйлс, бивш изследовател в Google DeepMind, също подчертава, че подходът позволява да се достигне качеството на голям модел, без той да изпълнява целия изчислителен цикъл, което е ключово предимство за ресурсно ефективното внедряване [1].

Търсене на общ математически език

Главният учен на Mostik Станислав Смирнов посочва, че намирането на обща пресечна точка между две различни невронни мрежи е изключително сложна задача, тъй като в съвременната наука все още липсва адекватен математически апарат за описване на тези процеси [1].

Според Смирнов задълбоченият математически анализ на връзките между теглата може не само да подобри работата на алгоритмите, но и да разкрие фундаментални принципи за функционирането на невронните мрежи. Това би хвърлило светлина върху общите закономерности между машинното разсъждение и когнитивните процеси в човешкия мозък при решаване на комплексни проблеми [1].

Източници:

[1]: These Russian Mathematicians Taught AI Models How to Talk to Each Other Without Using Words - WIRED

[2]: ARC-AGI - ARC Prize