Архитектурата Intelligent Delivery на Meta: Оптимизация на изчислителния капацитет за препоръчителни модели
Източник: Engineering at Meta / Meta
Инженерният отдел на Meta публикува детайлен технически доклад за архитектурата Intelligent Delivery — мащабна софтуерно-хардуерна платформа за динамично преразпределение на изчислителния капацитет при машинно обучение [1]. Системата оптимизира всяка изчислителна единица (FLOP) в глобалните центрове за данни на компанията, гарантирайки, че ресурсоемките невронни препоръчителни модели се активират само за заявки с най-висока прогнозна икономическа стойност.
Проблемът: Експоненциален ръст на изчислителните разходи при рекламите
С внедряването на модерни трансформърни архитектури в рекламните системи на Instagram и Facebook, разходите за оптимизация на инференцията нараснаха главоломно. Изпълнението на модел с милиарди параметри за всяко показване на реклама на милиарди потребители е физически невъзможно и икономически нерентабилно.
Традиционният подход използва статично каскадно филтриране, което често отхвърля ценни възможности поради фиксирани прагове.
Динамично разпределение на изчисленията чрез предсказващи мета-модели
Intelligent Delivery въвежда ултралек мета-модел, който оценява потенциалната стойност на импресията за части от микросекундата. За рутинни заявки се използва бърз и енергийно-ефективен модел, докато за висококонкурентни рекламни търгове се заделя пълен изчислителен бюджет за дълбок невроннен анализ.
Платформата динамично адаптира размера на партидите (batching) и прецизността на изчисленията (FP8/INT4) в реално време, оптимизирайки натоварването на специализираните чипове Meta MTIA.
Инфографика: Аналитичен преглед на Svetni.me
Капиталова ефективност в ерата на скъпите полупроводници
Разработката на Meta е показателна за прехода на технологичните гиганти към екстремно инженерно управление на ресурсите. Когато годишният бюджет за AI инфраструктура надхвърля 40 милиарда долара, дори 5% повишение на ефективността спестява милиарди в нови хардуерни покупки и електроенергия.
Архитектурата доказва, че най-умният модел не винаги е най-големият, а този, който знае точно кога и колко изчислителна мощност да изразходва за постигане на максимална бизнес цел.