Meta автоматизира разработката на рекламните си модели чрез автономния Ranking Engineer Agent

Източник: Engineering at Meta
Инженерното подразделение на Meta публикува детайлен архитектурен преглед на своята вътрешна автономна система Ranking Engineer Agent (REA), която автоматизира цикъла на иновации в огромната инфраструктура от системи за препоръки и рекламно класиране на компанията [1]. Специализираният AI агент самостоятелно пренася и адаптира нови открития в машинното обучение върху стотици продукционни модели в екосистемата на Facebook, Instagram и WhatsApp.
От изолиран експеримент към мащабиране върху стотици модели
Рекламната система на Meta не се състои от един-единствен модел, а от стотици специализирани невронни архитектури, обслужващи различни фази на търга, формати и потребителски сегменти. Традиционно, когато изследователски екип открие по-ефективен слой за внимание, метод за нормализация или схема за квантизация в един модел, ръчното адаптиране и тестване на тази иновация в останалите стотици модели отнема месеци инженерен труд.
Ranking Engineer Agent решава това тясно място чрез алгоритмична оптимизация на промптовете и кодовите трансформации в стила на декларативните рамки като DSPy. Агентът анализира изходния код на целевия модел, формулира конкретна архитектурна хипотеза и генерира необходимите промени в PyTorch конфигурацията.
Автономна експериментална верификация и предпазни прагове
След като генерира кандидат-архитектурата, REA автоматично стартира офлайн тренировъчни задачи върху исторически данни, следи кривите на загубата (loss curves) и изчислява метриките за нормализирана кръстосана ентропия (NE) и изчислителна цена (FLOPs).
Ако агентът засече нестабилност на градиентите или превишаване на бюджета за памет, той анализира телеметрията, коригира хиперпараметрите и стартира нова итерация без човешка намеса. До човешките ML инженери достигат само готови, емпирично доказани промени в кода (pull requests), които вече са преминали всички регресионни тестове.
Автоматизираното ML инженерство като двигател на рекламната рентабилност
Внедряването на Ranking Engineer Agent в сърцето на рекламната машина на Meta показва реалната икономическа стойност на автономните изследователски агенти. В мащаба на Meta дори 0,1% подобрение в точността на предсказване на клик или конверсия се трансформира в стотици милиони долари допълнителни годишни приходи без увеличаване на рекламното натоварване.
По-широкият извод за софтуерната индустрия е, че ролята на инженера по машинно обучение се измества от ръчно писане на моделни слоеве към проектиране на автономни експериментални фабрики, в които агентите извършват денонощна еволюционна оптимизация на продукционните мрежи.

Инфографика: Аналитичен преглед на Svetni.me