Захват изменений YDB и поставка в Yandex Data Streams

В поток Data Streams можно в реальном времени поставлять данные из базы данных Managed Service for YDB с помощью технологии Change Data Capture (CDC).

Чтобы настроить CDC с использованием сервиса Data Transfer:

1. Подготовьте базу данных источника Managed Service for YDB.
2. Создайте поток данных приемника Data Streams.
3. Подготовьте и активируйте трансфер.
4. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте базу данных источника Managed Service for YDBПодготовьте базу данных источника Managed Service for YDB

1. Подготовьтесь к выполнению SQL-запросов в базе данных источника Managed Service for YDB:

   Консоль управления

   YDB CLI

   1. В консоли управления выберите каталог, в котором находится нужная база данных.
   2. В списке сервисов выберите Managed Service for YDB.
   3. Выберите базу из списка и перейдите на вкладку Навигация.
   4. Нажмите кнопку Новый SQL-запрос.

   1. Настройте подключение к базе данных Managed Service for YDB.

   2. Убедитесь, что можете выполнять запросы с помощью YDB CLI с выбранным режимом аутентификации. Например, для OAuth-токена:

      ydb \
        --endpoint <эндпоинт> \
        --database <имя_БД> \
        --yc-token-file <путь_к_OAuth-токену> \
        yql -s "SELECT 1;"
      

      Результат:

      ┌─────────┐
      | column0 |
      ├─────────┤
      | 1       |
      └─────────┘
      

2. Создайте таблицу для тестовых данных:

   CREATE TABLE test
   (
       id Uint64,
       text Utf8,
       PRIMARY KEY (id)
   );
   

Создайте поток данных приемника Data StreamsСоздайте поток данных приемника Data Streams

Создайте поток данных приемника Data Streams.

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для источника YDB:

   • Настройки подключения:

     • База данных — выберите базу данных источника Managed Service for YDB из списка.
     • Идентификатор сервисного аккаунта — выберите или создайте сервисный аккаунт с ролью ydb.editor.

   • Список включенных путей:

     • Путь 1 — test.

2. Создайте эндпоинт для приемника Yandex Data Streams:

   • Настройки подключения:

     • База данных — выберите базу данных Managed Service for YDB для потока данных приемника из списка.
     • Поток — укажите имя потока Data Streams.
     • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

   • Настройки сериализации — Auto.

3. Создайте трансфер:

   Вручную

   Terraform

   1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
   2. Активируйте его.

   1. Укажите в файле data-transfer-ydb-yds.tf переменные:

      • source_endpoint_id — значение идентификатора эндпоинта для источника;
      • target_endpoint_id — значение идентификатора эндпоинта для приемника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Вставьте тестовые данные в таблицу test в базе данных источника Managed Service for YDB:

   INSERT INTO test
   (
       id,
       text
   )
   VALUES
   (
       1,
       'text 1'
   ),
   (
       2,
       'text 2'
   ),
   (
       3,
       'text 3'
   );
   

Проверьте, что в поток данных Data Streams перенеслись данные из источника:

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.
2. Удалите эндпоинты для источника и приемника.
3. Если при создании эндпоинтов вы создавали сервисные аккаунты, удалите их.

Остальные ресурсы удалите в зависимости от способа их создания: