Рекурсивен скок: Изкуственият интелект започва автономно да ускорява собствените си изследвания
Източник: FMNLab / Wikimedia Commons
Академични екипи в сътрудничество с водещи индустриални лаборатории публикуваха мащабно проучване, документиращо феномена на ускоряващото се рекурсивно научно откривателство: използването на специализирани модели за автоматизирано синтезиране на по-бързи изчислителни ядра, алгоритми за компресия и тренировъчни графици [1]. Този затворен цикъл съкращава цикъла за внедряване на хардуерни оптимизации от месеци на часове.
Автономно генериране на CUDA и Triton ядра с нулево участие на човек
Едно от най-впечатляващите практически постижения е способността на кодиращи агенти да пишат нискостепенен паралелен код, който надминава ръчно написаните библиотеки на водещи инженери. Чрез съчетаване на мета-евристично търсене и формално профилиране, агентите откриват неочевидни схеми за използване на споделената памет (shared memory bank conflict avoidance).
В резултат на това стандартни операции за FlashAttention са оптимизирани с допълнителни 14% до 22% скорост върху най-новото поколение GPU хардуер.
Синтетични данни и автоматизирано откриване на грешки в набори за обучение
Втората критична ос на ускорение е пречистването на тренировъчните масиви. Модели-редактори сканират петабайти уеб данни, отстранявайки тавтологии, спам и логически противоречия, което позволява на по-малки студентски мрежи да постигат резултати, характерни за модели с десетократно повече параметри.
Инфографика: Аналитичен преглед на Svetni.me
Експоненциална крива на развитие и рискове от загуба на човешки контрол
Влизането в фаза на рекурсивно самоусъвършенстване е повратна точка в историята на компютърните науки. Скоростта, с която софтуерните стекове се пренаписват автономно, започва да изпреварва способността на хората-инженери за детайлен преглед на архитектурните промени.
Това налага спешно разработване на нови верификационни стандарти, гарантиращи, че автоматично синтезираният код не съдържа скрити логически уязвимости или странични ефекти, които биха компрометирали сигурността на глобалните изчислителни мрежи.