Передача данных в эндпоинт-приемник Yandex Data Streams

• База данных — выберите базу данных Yandex Managed Service for YDB, зарегистрированную в Yandex Data Streams в качестве приемника.

• Поток — укажите имя потока, ассоциированного с базой данных.

• Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor, от имени которого сервис Data Transfer будет подключаться к приемнику данных.

• Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика.

  Это позволит применить к ВМ и кластерам в выбранной сети указанные правила групп безопасности без изменения настроек этих ВМ и кластеров. Подробнее см. в разделе Сеть в Yandex Data Transfer.

• Сохранять порядок транзакций — не разбивать поток событий на независимые очереди по таблицам.

• Кодеки сжатия — укажите требуемый формат сжатия данных: GZIP, ZSTD или Без сжатия.

• В блоке Настройки сериализации выберите тип сериализации:

  • Auto — автоматическая сериализация.

  • Debezium — сериализация по стандартам Debezium:

    • Выберите схему ключа сообщения (соответствует Debezium-параметру key.converter).
    • Выберите схему значения сообщения (соответствует Debezium-параметру value.converter).
    • При необходимости задайте Настройки сериализации Debezium в формате Параметр-Значение.

Если вы хотите использовать JSON-схемы в Yandex Schema Registry, сохраняя совместимость схем при добавлении и удалении опциональных полей, укажите следующие настройки:

• Настройки сериализации — Debezium.

• Чтобы использовать Schema Registry для ключей, выберите Схема ключа сообщения — JSON (посредством Schema Registry). Чтобы использовать Schema Registry для значений, выберите Схема значения сообщения — JSON (посредством Schema Registry).

  • URL — эндпоинт пространства имен Schema Registry. Вы можете скопировать эндпоинт из подсказки по подключению к пространству имен Schema Registry на вкладке Debezium, в параметре value.converter.schema.registry.url.

    Важно

    В пространстве имен должна быть выставлена Политика проверок совместимости для JSON — optional friendly.

  • Имя пользователя — api-key.

  • Пароль — значение API-ключа с ограниченной областью действия для подключения к Schema Registry. Чтобы получить значение:

    1. Создайте API-ключ с ограниченной областью действия и поместите его в локальную переменную SECRET:

       yc iam api-key create --folder-id <идентификатор_каталога> \
         --service-account-name <имя_сервисного_аккаунта_для_работы_со_Schema_Registry> \
         --scopes yc.schema-registry.schemas.manage \
         --expires-at '2030-01-01T00:00:00Z' >./api-key.yaml && \
       SECRET=`cat ./api-key.yaml | grep 'secret:' | awk '{print $2}'`
       

    2. Выведите в терминал значение переменной SECRET:

       echo $SECRET
       

    3. Скопируйте полученное значение и вставьте его в поле Пароль в окне создания эндпоинта.

• В блоке Настройки сериализации Debezium:

  • Чтобы генерировать закрытую схему для ключей, добавьте параметр key.converter.dt.json.generate.closed.content.schema со значением true.
  • Чтобы генерировать закрытую схему для значений, добавьте параметр value.converter.dt.json.generate.closed.content.schema со значением true.