Захват изменения данных

CDC (change data capture — захват изменения данных) — это процесс отслеживания изменений в базе данных и поставка этих изменений к потребителям в режиме почти реального времени. CDC может применяться для:

• создания приложений, которые реагируют на изменение данных в реальном времени;
• поставки данных из централизованного хранилища в микросервисы;
• сбора и поставки данных из продакшен-окружения во внутренние хранилища данных — для обработки и анализа.

В Yandex Cloud одним из способов реализации CDC-подхода может быть трансфер из базы данных в брокер сообщений. Все обновления в базе отслеживаются трансфером и отправляются в брокер сообщений, а потребители подключаются к брокеру и считывают поступающие сообщения.

Data Transfer поддерживает CDC-режим для трансферов из баз данных PostgreSQL, MySQL® и YDB в Apache Kafka® и Yandex Data Streams¹. При этом данные в приемник попадают в формате Debezium.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками VMware, Inc в США и/или других странах.

¹ Функциональность находится на стадии Preview.
Готовность реализации для разных типов инсталляции Yandex Data Transfer может отличаться. Трансфер для источника MongoDB и приемника Apache Kafka® пока не поддерживается (cм. список доступных трансферов).