Защо авторегресивните LLM не са неизбежното бъдеще: Математически и термодинамични граници на мащабирането

Физическите и термодинамични бариери пред мащабирането на авторегресивните LLM. Снимка: deadSimpleTech

В съвременния дискурс около изкуствения интелект доминира една негласна догма: че текущата архитектура на трансформърите и авторегресивното предвиждане на следващ токен са единственият и неизбежен път към създаването на общ изкуствен интелект (AGI), като всичко, което е необходимо, е просто да строим все по-големи центрове за данни и да изгаряме гигавати мощност [1].

В дълбоко и аргументирано научно есе, публикувано от блога deadSimpleTech и предизвикало разгорещени дискусии в инженерните среди, авторката Айрис Мередит развенчава този мит. Анализът доказва, че съвременните големи езикови модели (LLM) са изправени пред непреодолими математически, информационни и физически граници [1].

Вероятностно отклонение и проклятието на авторегресията

Фундаменталният дефект на авторегресивните модели се корени в техния вероятностен дизайн [1]. Когато един модел генерира отговор дума по дума, всяка следваща стъпка зависи от предходните. Ако моделът има 99% точност на всяка стъпка, вероятността за запазване на строга логическа кохерентност след 100 стъпки спада драстично, а след 1000 стъпки се срива практически до нула.

Това експоненциално натрупване на грешки (Error Cascading) не може да бъде преодоляно просто чрез увеличаване на параметрите. За разлика от човешкото мислене, което формулира цялостна абстрактна идея и я валидира спрямо вътрешни ментални модели преди да я произнесе, трансформърът е принуден да избира думи „в движение“. Без механизъм за глобално планиране и отказ от грешни разклонения, моделът неизбежно халюцинира при задачи с висока изчислителна сложност.

Принципът на Ландауер и термодинамичният таван

Отвъд математиката стои още по-строгият закон на физиката: термодинамиката на изчисленията [1]. Съгласно принципа на Ландауер, всяко необратимо изтриване или преобразуване на бит информация отделя минимално количество топлина ((kT \ln 2)). Съвременните GPU клъстери работят на светлинни години над тази теоретична граница, изразходвайки стотици джаули за генериране на един токен.

За сравнение, човешкият мозък консумира едва около 20 вата мощност, докато изпълнява комплексни когнитивни задачи, разсъждава и планира в реално време. Идеята, че можем да постигнем свръхинтелигентност чрез чисто експоненциално мащабиране на класическите закони за мащабиране, изискващо цели ядрени електроцентрали за захранване на един модел, е термодинамичен абсурд. Физическата инфраструктура на планетата просто не може да понесе подобен отпечатък.

Възраждането на невросимволичния интелект

Изходът от тази задънена улица изисква фундаментална смяна на научната парадигма [1]. Бъдещето на изкуствения интелект не принадлежи на по-големите трансформъри, а на хибридния невросимволичен AI. Тази архитектура обединява интуитивното езиково разбиране на невронните мрежи с детерминистичната строгост на символната логика, графовете на знания и математическите формални доказатели (Theorem Provers).

Символните системи не халюцинират, изискват нищожна част от изчислителната мощ и осигуряват 100% математическа доказуемост. Вместо да се опитваме да научим една статистическа машина да бъде логик чрез милиарди примери, ние трябва да я свържем с външен логически верификатор. Ерата на сляпата вяра в авторегресивния гигантизъм приключва; започва ерата на термодинамично устойчивия архитектурен разум.

Инфографика: Светни.ме

Източници

[1]: There's little that's inevitable about AI - deadSimpleTech & Hacker News