Как Slack управлява контекста в дълготрайни мултиагентни системи
Според репортаж на InfoQ [1], базиран на подробен технически анализ от инженерния екип на Slack [2], компанията е разработила иновативен подход за управление на контекста в сложни, дълготрайно работещи системи с изкуствен интелект. Традиционният метод на просто натрупване на хронологията от съобщения в „контекстния прозорец“ на големите езикови модели (LLM) се оказва неефективен при мащабни задачи, тъй като води до повишени разходи, забавяне и влошаване на качеството на отговорите.
За да се справят с тези предизвикателства, инженерите на Slack внедряват три специализирани канала за контекст, които заместват суровата хронология със структурирана памет:
- Дневник на директора (Director’s Journal): Съхранява структурирана работна памет, включваща хипотези, взети решения и поставени въпроси. Той осигурява „общия разказ“, който поддържа останалите агенти в правилната посока.
- Преглед от критик (Critic’s Review): Действа като филтър за истинност. Критиците оценяват работата на експертните агенти, като използват система за оценяване на достоверността, за да идентифицират потенциални халюцинации или грешни интерпретации на данните.
- Хронология на критика (Critic’s Timeline): Изгражда последователен и логичен разказ за събитията, като премахва дублиращи се записи и разрешава конфликти между различни източници на данни.
Изображение: Slack Engineering чрез InfoQ
Този модел на „координатор и диспечер“ позволява на всеки агент (като Pydantic AI и други в техните мултиагентни системи) да има специфична роля и изглед към състоянието на разследването, оптимизиран за неговата задача. Чрез използването на дестилирана информация вместо пълни логове, Slack (част от Salesforce) успява да поддържа висока точност дори при сесии, обхващащи стотици заявки и мегабайти изходни данни.
Източници:
[1]: How Slack Manages Context in Long-Running Multi-agent Systems - InfoQ
[2]: Managing context in long-run agentic applications - Slack Engineering