Захват изменений YDB и поставка в Yandex Data Streams

В поток Data Streams можно в реальном времени поставлять данные из базы данных Managed Service for YDB с помощью технологии Change Data Capture (CDC).

Чтобы настроить CDC с использованием сервиса Data Transfer:

1. Подготовьте базу данных источника Managed Service for YDB.
2. Создайте поток данных приемника Data Streams.
3. Подготовьте и активируйте трансфер.
4. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Базы данных Managed Service for YDB (см. тарифы Managed Service for YDB). Стоимость зависит от режима использования:

  • Для бессерверного режима — оплачиваются операции с данными, объем хранимых данных и резервных копий.
  • Для режима с выделенными инстансами — оплачивается использование выделенных БД вычислительных ресурсов, объем хранилища и резервные копии.

• Сервис Data Streams (см. тарифы Data Streams). Стоимость зависит от режима тарификации:

  • По выделенным ресурсам — оплачивается фиксированная почасовая ставка за установленный лимит пропускной способности и срок хранения сообщений, а также дополнительно количество единиц фактически записанных данных.
  • По фактическому использованию (On-demand) — оплачиваются выполненные операции записи и чтения данных, объем считанных/записанных данных, а также объем фактически используемого хранилища для сообщений, по которым не истек срок хранения.

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте базу данных источника Managed Service for YDBПодготовьте базу данных источника Managed Service for YDB

1. Подготовьтесь к выполнению SQL-запросов в базе данных источника Managed Service for YDB:

   Консоль управления

   YDB CLI

   1. В консоли управления выберите каталог, в котором находится нужная база данных.
   2. В списке сервисов выберите Managed Service for YDB.
   3. Выберите базу из списка и перейдите на вкладку Навигация.
   4. Нажмите кнопку Новый SQL-запрос.

   1. Настройте подключение к базе данных Managed Service for YDB.

   2. Убедитесь, что можете выполнять запросы с помощью YDB CLI с выбранным режимом аутентификации. Например, для OAuth-токена:

      ydb \
        --endpoint <эндпоинт> \
        --database <имя_БД> \
        --yc-token-file <путь_к_OAuth-токену> \
        yql -s "SELECT 1;"
      

      Результат:

      ┌─────────┐
      | column0 |
      ├─────────┤
      | 1       |
      └─────────┘
      

2. Создайте таблицу для тестовых данных:

   CREATE TABLE test
   (
       id Uint64,
       text Utf8,
       PRIMARY KEY (id)
   );
   

Создайте поток данных приемника Data StreamsСоздайте поток данных приемника Data Streams

Создайте поток данных приемника Data Streams.

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для источника YDB:

   • Настройки подключения:

     • База данных — выберите базу данных источника Managed Service for YDB из списка.
     • Идентификатор сервисного аккаунта — выберите или создайте сервисный аккаунт с ролью ydb.editor.

   • Список включенных путей:

     • Путь 1 — test.

2. Создайте эндпоинт для приемника Yandex Data Streams:

   • Настройки подключения:

     • База данных — выберите базу данных Managed Service for YDB для потока данных приемника из списка.
     • Поток — укажите имя потока Data Streams.
     • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

   • Настройки сериализации — Auto.

3. Создайте трансфер:

   Вручную

   Terraform

   1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
   2. Активируйте его.

   1. Укажите в файле data-transfer-ydb-yds.tf переменные:

      • source_endpoint_id — значение идентификатора эндпоинта для источника;
      • target_endpoint_id — значение идентификатора эндпоинта для приемника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Вставьте тестовые данные в таблицу test в базе данных источника Managed Service for YDB:

   INSERT INTO test
   (
       id,
       text
   )
   VALUES
   (
       1,
       'text 1'
   ),
   (
       2,
       'text 2'
   ),
   (
       3,
       'text 3'
   );
   

Проверьте, что в поток данных Data Streams перенеслись данные из источника:

Удалите созданные ресурсыУдалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

1. Удалите трансфер.

2. Удалите эндпоинты для источника и приемника.

3. Если при создании эндпоинтов вы создавали сервисные аккаунты, удалите их.

4. Остальные ресурсы удалите в зависимости от способа их создания:

   Вручную

   Terraform

   1. Удалите базу данных источника Managed Service for YDB.
   2. Удалите базу данных Managed Service for YDB для потока данных приемника.

   1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

   2. Удалите ресурсы:

      1. Выполните команду:

         terraform destroy
         

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.