Архитектурни шаблони за мулти-агентни системи от рекламната AI платформа на Spotify

Снимка: Spotify / InfoQ

В рамките на техническа презентация за InfoQ, софтуерният архитект на Spotify Пратик Расам представи детайлен разбор на продукционната архитектура, задвижваща новата генеративна рекламна платформа Spotify Ads Manager [1].

Инженерният опит на стрийминг гиганта предлага безценни уроци за това как автономни агенти могат да оперират надеждно при милиони трансакции, без да стават жертва на халюцинации или взривно нарастване на изчислителните разходи [1].

Инфографика: Светни.ме

Разделяне на отговорностите: Краят на монолитния агент

Основният архитектурен урок от практиката на Spotify е отхвърлянето на монолитния „всезнаещ“ агент. Когато на един езиков модел се дадат десетки инструменти — от бюджетиране до генериране на аудио, вероятността от грешка при избор на инструмент нараства експоненциално с дължината на промпта.

Инженерите на Spotify възприемат модулна архитектура на мулти-агентни системи, изградена върху Google ADK Java. Системата разпределя задачите между тесни експертни агенти: агент за рекламни текстове, агент за темпо на бюджета, агент за невронен аудио синтез и агент за правно съответствие на посланията в сферата на модерните рекламни технологии (Ad-Tech).

Детерминистични предпазни рамки и одит чрез трейсинг

Всеки агент е затворен в изолиран контекстен прозорец, а преходите между тях се управляват от строго детерминистичен краен автомат (state machine). Нито един агент няма директно право да променя бюджети или да публикува аудио клип в ефир без преминаване през програмни валидатори.

Платформата задължително включва етап на човек в цикъла на управление (Human-in-the-Loop), където рекламодателят прослушва генерираните аудио спотове преди стартиране на кампанията. Цялостната система за наблюдение записва подробни графи на изпълнението (traces), което позволява прецизен анализ на причините за всяка грешна стъпка на модела.

Дълбок технически анализ: Инженерната дисциплина при оптимизация на агентни схеми

Опитът на Spotify очертава границата между любителските демонстрации с AI и реалното индустриално внедряване на автономни агенти в мащаб. Най-голямото скрито перо в бюджета на агентните системи не е самата сложност на модела, а системният овърхед от огромните JSON схеми на инструментите, които се подават на входа при всяка интеракция.

Чрез агресивно съкращаване на описанията на инструментите и преминаване към компактни типови сигнатури, екипът на Spotify успява да намали консумацията на токени с над 60%.

Освен това кеширането на семантични вектори за чести рекламни цели елиминира нуждата от повторно извикване на скъпи модели за рутинни стъпки. Изграждането на отказоустойчиви архитектури с ясни граници на отговорност доказва, че успехът на генеративния AI зависи преди всичко от класическите принципи на разпределените софтуерни системи.

Източници

[1]: Presentation: Multi-Agent Patterns from Spotify’s AI Powered Advertising Platform - InfoQ