Захват изменения данных
CDC (change data capture — захват изменения данных) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени. CDC может применяться для:
- создания приложений, которые реагируют на изменение данных в реальном времени;
- поставки данных из централизованного хранилища в микросервисы;
- сбора и поставки данных из продакшен-окружения во внутренние хранилища данных — для обработки и анализа.
В Yandex Cloud одним из способов реализации CDC-подхода может быть трансфер из базы данных в брокер сообщений. Все обновления в базе отслеживаются трансфером и отправляются в брокер сообщений, а потребители подключаются к брокеру и считывают поступающие сообщения.
Data Transfer поддерживает CDC-режим для трансферов из баз данных PostgreSQL, MySQL® в Apache Kafka®. При этом данные в приемник попадают в формате Debezium.
Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах.
1 Функциональность находится на стадии Preview.
Готовность реализации для разных типов инсталляции Yandex Data Transfer может отличаться. Трансфер для источника MongoDB и приемника Apache Kafka® пока не поддерживается (cм. список доступных трансферов).
Примеры использования
- Захват изменений из MySQL® и поставка в Apache Kafka®
- Захват изменений из PostgreSQL и поставка в Apache Kafka®
- Захват изменений из YDB и поставка в Apache Kafka®
- Захват изменений данных из YDB и поставка в YDS
- Захват изменений из PostgreSQL и поставка в Yandex Data Streams
- Захват изменений из MySQL® и поставка в YDS