Databricks внедри push-базиран CDC в Unity Catalog чрез Zerobus Ingest и Debezium
Източник: Databricks Blog / Databricks
В стремежа си да елиминира границата между транзакционните бази данни и аналитичните масиви за машинно обучение Databricks представи революционна push-базирана архитектура за улавяне на промените (Change Data Capture) в Unity Catalog [1]. Чрез комбиниране на платформата с отворен код Debezium със собствения високоскоростен транспортен протокол Zerobus Ingest компанията постига непрекъсната репликация на данни с подсекундна латентност.
Край на тромавите пакетни ETL процеси
В традиционните корпоративни среди актуализирането на езерото от данни се извършваше чрез периодични нощни пакетни задачи (batch ETL), което означаваше, че моделите за прогнозиране винаги работеха с остаряла с 24 часа информация. Новата разработка чете директно журнала за транзакции (WAL) на релационните бази и изтласква всяка промяна директно в табличния формат Delta Lake без натоварване на основната система.
Интеграция с корпоративната сигурност и одит
Използването на Unity Catalog като крайна точка гарантира, че всички строги политики за сигурност, маскиране на чувствителни данни (GDPR) и проследимост на произхода (lineage) се прилагат автоматично в момента на запис. Това спестява седмици ръчно конфигуриране на права от инженерите по данни.
Непрекъснато актуалните данни като предпоставка за автономния бизнес
Въвеждането на непрекъснат push-базиран CDC бележи окончателната победа на поточната обработка на данни над остарелите пакетни методи. За автономните AI агенти, които вземат решения за ценообразуване, управление на складови наличности и финансови транзакции, достъпът до информация, актуална към текущата секунда, е разликата между успешен бизнес и фатална грешка.
Анализ на репликацията на транзакции, Delta Lake таблиците и сигурността в Unity Catalog.