Илон Мъск ограничи драстично лимитите на Grok Bot заради „неудържимо високи“ разходи за изчисления
Източник: TechCrunch / Getty Images
Главният изпълнителен директор на xAI Илон Мъск обяви налагането на незабавни и строги ограничения върху честотата на използване на чатбота Grok за всички нива потребители [1]. Като причина за драстичната мярка бяха посочени „неудържимо високите и икономически нерационални“ разходи за инференс в суперкомпютърния клъстер Colossus в Мемфис.
Енергийният глад на Colossus и скритата цена на свободния инференс
Суперкомпютърът Colossus, оборудван със сто хиляди ускорителя Nvidia H100 и H200, консумира десетки мегавати електроенергия денонощно. Предоставянето на почти неограничен достъп до Grok на абонатите на социалната платформа X генерира непрекъснати пикове в потреблението, които генерират милионни сметки за охлаждане и захранване на дата центъра без пропорционална възвръщаемост.
Потребителско недоволство и ерозия на платения абонамент
Потребителите на платените планове X Premium и Premium+ изразиха остро разочарование в социалните мрежи след внезапното намаляване на квотите за генериране на изображения и разсъждения. Досега агресивната маркетингова стратегия на Мъск залагаше на субсидиран и евтин достъп, за да отнеме пазарен дял от ChatGPT, но финансовите реалности наложиха рязка спирачка.
Пречупването на потребителския субсидиран AI и неизбежността на динамичното ценообразуване
Решението на xAI да постави твърди спирачки пред свободното потребление на Grok е поредното доказателство, че ерата на „безплатния или евтин бездънен AI“ окончателно приключва. За разлика от класическите търсачки, където маргиналният разход за едно търсене е практически нулев, всяка сложна заявка към голям езиков модел активира милиарди матрични умножения в реално време. Дори за най-богатия човек на планетата поддържането на субсидиран достъп се оказва неустойчиво. Индустрията неизбежно се насочва към строги модели на плащане на изразходван токен и динамично тарифиране според натоварването на мрежата, което ще промени начина, по който масовите потребители използват изкуствен интелект в ежедневието си.
Анализ на енергийния разход на Colossus, цената на токените и промяната в абонаментната политика.