OpenAI обяви, че до 90% от изследователските ресурси вече са насочени към GPT-7 и по-далечни хоризонти

Снимка: The Decoder / OpenAI

Вътрешни източници и ръководни кадри от OpenAI разкриха, че между 80 и 90 процента от изследователските екипи на компанията вече са напълно пренасочени към разработката на архитектурата на бъдещия модел GPT-7 и още по-далечни изчислителни хоризонти [1]. Това решение идва в момент, в който моделът GPT-6 вече преминава в етап на индустриална експлоатация и системна оптимизация [1].

Стратегическото прегрупиране показва, че надпреварата при големите езикови модели е навлязла в етап на многогодишно дългосрочно планиране [1]. OpenAI концентрира научния си капацитет върху преодоляване на фундаменталните ограничения на класическите трансформърни архитектури, залагайки на нови математически парадигми за динамично разсъждение и рекурсивна самопроверка на изводите [1].

Инфографика: Светни.ме

Преодоляване на изчерпването на данни и енергийните бариери

Една от основните причини за ранния старт на изследванията за GPT-7 е необходимостта от коренна промяна в методите за обучение [1]. Публичният интернет вече не разполага с достатъчно качествен човешки текст, което налага проектирането на специализирани генератори на синтетични данни и системи за самообучение чрез симулирани среди в областта на машинното обучение [1].
Второто огромно предизвикателство е физическото захранване на бъдещите клъстери [1]. Обучението на модели от ранга на GPT-7 изисква гигаватови изчислителни центрове, което принуждава технологичните гиганти директно да договарят дългосрочни доставки на ядрена енергия и геотермални мощности, за да предотвратят сривове в енергийната мрежа [1].

Защитни механизми за следващото поколение

Преминаването към модели с практически неограничен капацитет за разсъждение поставя нови въпроси пред безопасността [1]. Изследователите на компанията разработват нови протоколи за мащабируемо съгласуване (scalable alignment), при които специализирани невронни мрежи следят и верифицират вътрешните логически стъпки на по-големия модел [1].
Целта е да се гарантира, че дори при постигане на автономно самоусъвършенстване, системата ще остане математически ограничена в рамките на човешки дефинираните цели и етични бариери [1].

Източници:

[1]: OpenAI says 80 to 90 percent of its research already targets GPT 7 and beyond - The Decoder