ByteDance разработва ИИ модел с 10 трилиона параметъра

Китайският технологичен гигант ByteDance е започнал предварително обучение (pre-training) на нов модел с изкуствен интелект, чийто мащаб може да достигне до 10 трилиона параметъра, според информация от Financial Times [2]. Проектът демонстрира стремежа на компанията майка на TikTok да се конкурира директно с най-големите системи в глобалната индустрия, разработвани от водещи американски лаборатории.

Изображение: Авторско изображение

Безпрецедентен мащаб за китайския пазар

Планираният капацитет от 10 трилиона параметъра би превърнал новата разработка в най-големия ИИ модел в Китай [1]. Този обем е над три пъти по-голям от мащаба на Kimi K3 – текущо най-големия пуснат модел в страната, разработен от стартъпа Moonshot AI, който притежава около 2,8 трилиона параметъра [2].

С тази инициатива ByteDance навлиза в същата категория, в която се намират водещите западни модели. За сравнение, индустриални оценки позиционират флагманския модел Mythos 5 на американската компания Anthropic на около 8 трилиона параметъра [1]. В същото време xAI на Илон Мъск обучава версии на своя модел Grok с 6 и 10 трилиона параметъра в своя изчислителен клъстер Colossus 2, според изявления на предприемача.

Стратегия на самостоятелност и фази на разработка

Според източници, близки до проекта, моделът в момента се намира в етап на предварително обучение – процес, който обикновено отнема между три и шест месеца [2]. Крайният брой параметри може да претърпи промени в хода на обучението, преди да се премине към следващите фази на донастройка.

Особено важен елемент от стратегията на ByteDance е избягването на т.нар. дестилация (distillation) – практика за обучение на модели върху генерирани данни от системи на конкурентни фирми. Компанията е преустановила този подход преди повече от година [1]. Според вътрешни източници основателят на конгломерата Джан Имин е поставил пред 2000-членния екип за развитие на изкуствения интелект целта да постигнат водещи световни възможности на модела в дългосрочен план.

Технически предизвикателства и фактори за успех

Броят на параметрите определя капацитета на модела да съхранява и структурира информация, но експерти подчертават, че той не гарантира автоматично по-висока производителност [1]. Действителните резултати на системата ще зависят от качеството на използваните данни, ефективността на алгоритмите за обучение и цялостната архитектура на невронната мрежа.

За ByteDance ключово техническо предизвикателство остава и осигуряването на хардуерен капацитет под натиска на експортния контрол върху графични ускорители към Китай [2].

Източници:
[1]: China's Largest AI Model Is Being Developed at Bytedance - The Decoder
[2]: ByteDance trains mega AI model to rival Anthropic - Financial Times