Deutsche Börse автоматизира мащабна миграция към Databricks с помощта на GenAI
Изображение: Svetni.me / Авторско изображение
Според официална публикация на Databricks [1], екипът на StatistiX в Deutsche Börse Group е постигнал значителен пробив в автоматизацията на облачната си трансформация. Изправена пред крайния срок за преустановяване на поддръжката на Apache Zeppelin от Cloudera през 2027 г., компанията е разработила инструмент, базиран на генеративен изкуствен интелект (GenAI), който трансформира сложния процес по миграция на данни и логика.
Предизвикателството на мащаба
Платформата StatistiX управлява приблизително 95% от данните за клиринг и търговия на групата, обслужвайки над 2000 потребители. Основното затруднение при преминаването към Databricks не е била самата инфраструктура, а хилядите съществуващи работни тетрадки (notebooks). Те съдържат дълбоко вградена бизнес логика, специфични за Oracle и HDFS референции и сложни визуализации, трупани в продължение на години.
Ръчната преработка на тези активи би отнела години, а традиционните инструменти за автоматизация, базирани на твърди правила, се оказват недостатъчни поради голямото разнообразие на програмната логика.
Хибриден подход: Структура срещу Логика
Решението на Deutsche Börse се основава на разделянето на миграцията на два потока:
- Детерминистична конверсия: Автоматично картографиране на структурата (параграфи в клетки), превод на синтаксиса на интерпретаторите (%python, %sql, %pyspark) и реформиране на метаданните в стандартен
.ipynbформат. - AI-асистирана реконструкция: Използване на Databricks Genie за възстановяване на бизнес логиката.
Вместо да се опитва да пренапише автоматично сложния код (което би подкопало доверието в резултата), системата генерира контекстно ориентиран „промпт“ за Genie. Този промпт съдържа специфични детайли за средата на Zeppelin – източници на данни, конфигурационни модели и бизнес контекст.
Резултати в реално време
Внедряването на този подход е довело до драстично съкращаване на времето за преработка на една работна тетрадка – от няколко часа на едва 15–20 минути. Важно предимство е, че бизнес потребителите вече не се нуждаят от задълбочена инженерна експертиза в Databricks, за да мигрират собствените си проекти.
От екипа споделят, че ключов урок от проекта е избягването на „свръх-инженерство“. Първоначалните опити с по-сложна агентна архитектура са били заменени от изчистен интерфейс (изграден с shadcn UI), който се е оказал напълно достатъчен за нуждите на миграцията.
Източници: