Создание потока изменений таблицы

Поток изменений таблицы или Change Data Capture (CDC) — это механизм оповещения об изменениях данных в конкретной таблице. Когда в таблице добавляется, обновляется или удаляется строка, CDC формирует запись о произошедшем изменении с указанием первичного ключа строки и пишет ее в соответствующую данному ключу партицию топика. Топик — это сущность для хранения неструктурированных сообщений, предназначенная для их доставки множеству подписчиков. Фактически, топик — это именованный набор сообщений.

Описание ресурса yandex_ydb_table_changefeedОписание ресурса yandex_ydb_table_changefeed

Создать поток изменений таблицы можно с помощью ресурса yandex_ydb_table_changefeed:

resource "yandex_ydb_table_changefeed" "ydb_changefeed" {
  table_id = yandex_ydb_table.test_table_2.id
  name = "changefeed"
  mode = "NEW_IMAGE"
  format = "JSON"

  consumer {
    name = "test_consumer"
  }
}

В создании потока изменений таблицы мы использовали следующий набор полей:

• table_id — идентификатор таблицы, для которой создается поток изменений;
• name — название потока изменений;
• mode — режим работы потока изменений. Все доступные режимы работы потока изменений описаны в документации.
• format — формат потока изменений. Доступен только JSON формат.

Полное описание всех полей ресурса yandex_ydb_table_changefeed:

При инициализации ресурса yandex_ydb_table_changefeed можно указать только одно поле соединения: connection_string, table_path или table_id. При указании нескольких полей соединения между ними возникают конфликты. Например, поле table_id с указанием относительной ссылки в формате: <ресурс>.<идентификатор>.<параметр> — yandex_ydb_table.test_table_2.id.

Внутри ресурса потока изменений располагается блок consumer. Consumer (читатель) — это именованная сущность для чтения данных из топика. У читателя несколько полей настроек. Главное поле — name (имя читателя). При инициализации ресурса yandex_ydb_table_changefeed можно задать несколько читателей, а можно не создавать ни одного, но тогда невозможно будет читать данные из потока изменений.

Полный перечень полей блока consumer:

Имя читателя используется в SDK или CLI для чтения данных из топика.