GPT-6 Astra демонстрира директно препрограмиране на невронни тегла без конвенционален файн-тюнинг
Източник: Krzysztof Popławski / Wikimedia Commons
Изследователски данни за вътрешния експериментален модел GPT-6 Astra на OpenAI разкриват революционна способност за мета-обучение: системата е способна директно да анализира, коригира и презаписва векторите в слоевете на по-малка невронна мрежа (като 8-милиардни Llama модели), постигайки мигновена специализация без нито една епоха на конвенционално обратно разпространение на грешката (backpropagation) [1]. Този пробив превръща базовите модели (foundation-models) в автономен компилатор на специализирани изкуствени интелекти.
От подсказки (prompting) към директна неврохирургия
Вместо да предава хиляди примери през входния контекстен прозорец, Astra получава описание на желаната задача и суровите бинарни тегла на модела мишена. Чрез специализиран дифузионен механизъм върху параметричното пространство, моделът локализира кои точно слоеве кодират нежелано поведение и променя матриците за минути – задача, изискваща иначе дни тренировки върху суперкомпютър.
Оптимизация на модели за мобилни чипове и периферия
Практическото приложение на технологията позволява създаването на хипер-специализирани невронни ядра за вградени системи, медицински сензори и роботика, които консумират частица от вата. Astra компресира знанието от мащабни клъстери в компактни матрици с изумителна прецизност.
Преходът към саморазвиващи се и рекурсивно самоподобряващи се AI системи
Възможността един изкуствен интелект директно да препрограмира анатомията на други модели приближава компютърните науки до теоретичния праг на рекурсивното самоподобряване. Когато софтуерът престане да разчита на бавните механични цикли на човешко програмиране и започне директно да синтезира оптимални невронни структури, еволюцията на машинния интелект ще се ускори експоненциално. Това поставя фундаментални предизвикателства пред съвременните методи за подравняване и контрол на сигурността.
Анализ на параметричното дифузионно пространство, бързия синтез и периферните чипове.