Как Spotify използва „фонови“ ИИ агенти за мащабна миграция на данни
Миграцията на масиви от данни в голяма технологична организация често е кошмарна задача, изискваща месеци ръчен труд и координация между десетки екипи. Според репортаж от инженерния блог на Spotify [1], компанията е намерила решение чрез използването на т.нар. „фонови“ ИИ агенти (background coding agents).
Предизвикателството пред Spotify е било огромно: премахване на два остарели набора от данни, които захранват около 1800 софтуерни потока (pipelines). Цялата операция е трябвало да приключи в рамките на шест месеца, което би коствало стотици часове инженерен труд, ако се извършваше ръчно [1].
Изображение: Генерирано чрез Svetni.me AI
Системата HONK и силата на контекста
За да се справи с този „потоп“ от работа, Spotify разработи HONK – вътрешен ИИ агент, базиран на технологията Claude Code на Anthropic. Ключът към успеха на HONK не е бил просто в „умния“ модел, а в интеграцията му с вътрешните платформи на Spotify като Backstage (за откриване на зависимостите между кодовите хранилища) и Fleet Management (за масово управление на промените).
Инженерите на Spotify са открили, че вместо да оставят агента да „гади“ схемите на данните, е много по-ефективно да му предоставят подробни „таблици за мапинг“ (field-to-field mappings). Това т.нар. „инженерство на контекста“ е позволило на HONK да създаде 240 автоматизирани предложения за промени (PRs) за стандартните SQL рамки на компанията, значително намалявайки натоварването върху хората [1].
Ограничения и научени уроци
Въпреки успеха, не всичко е било автоматизирано. Екипът умишлено е изключил по-сложните Scala потоци (Scio) от автоматичната фаза поради тяхната висока вариативност. Също така, поради липсата на автоматизирани тестове за изграждане в част от хранилищата, крайната проверка на кода все още е изисквала човешко потвърждение.
„Целта ни не беше да премахнем човека, а да премахнем досадата,“ обяснява Девън Едуардс Джоузеф, старши инженер в Spotify [1]. Опитът на компанията показва, че автономните агенти са готови за реална работа, стига да бъдат подкрепени от здрава инфраструктура и ясен контекст.
Източници: