Поставка данных из очереди Data Streams в Managed Service for Apache Kafka® с помощью Yandex Data Transfer

С помощью сервиса Data Transfer можно поставлять данные из потока Data Streams в кластер Managed Service for Apache Kafka®.

Чтобы перенести данные:

1. Подготовьте поток данных Data Streams.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for Apache Kafka®: использование вычислительных ресурсов, выделенных хостам (в том числе хостам ZooKeeper), и дискового пространства (см. тарифы Apache Kafka®).

• Плата за использование публичных IP-адресов для хостов кластера (см. тарифы Virtual Private Cloud).

• Плата за базу данных Managed Service for YDB. Тарификация зависит от режима использования:

  • Для бессерверного режима — оплачиваются операции с данными и объем хранимых данных.
  • Для режима с выделенными инстансами — оплачивается использование вычислительных ресурсов, выделенных БД, и дискового пространства.

  Подробнее о тарифах Managed Service for YDB.

• Плата за сервис Data Streams. Она зависит от режима тарификации:

  • По выделенным ресурсам — оплачивается количество единиц записываемых данных и ресурсы, выделенные для обслуживания потоков данных.
  • По фактическому использованию:

    • Если БД работает в бессерверном режиме, поток данных тарифицируется по правилам тарификации для бессерверного режима YDB.

    • Если БД работает в режиме с выделенными инстансами, поток данных отдельно не тарифицируется (оплачивается только БД, см. правила тарификации).

  Подробнее о тарифах Data Streams.

• Плата за трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру поставки данных:

Создайте поток данных Data StreamsСоздайте поток данных Data Streams

Создайте поток данных Data Streams.

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для источника Data Streams.

   • Тип базы данных — Yandex Data Streams.

   • Параметры эндпоинта:

     • Настройки подключения:

       • База данных — выберите базу данных Managed Service for YDB из списка.
       • Поток — укажите имя потока Data Streams.
       • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

     • Расширенные настройки:

       • Правила конвертации — JSON.
       • Схема данных — JSON-спецификация:

       Заполните схему данных:

       Схема данных

           [
               {
                   "name": "device_id",
                   "type": "string"
               },
               {
                   "name": "datetime",
                   "type": "datetime"
               },
               {
                   "name": "latitude",
                   "type": "double"
               },
               {
                   "name": "longitude",
                   "type": "double"
               },
               {
                   "name": "altitude",
                   "type": "double"
               },
               {
                   "name": "speed",
                   "type": "double"
               },
               {
                   "name": "battery_voltage",
                   "type": "any"
               },
               {
                   "name": "cabin_temperature",
                   "type": "double"
               },
               {
                   "name": "fuel_level",
                   "type": "any"
               }
           ]
       

2. Создайте эндпоинт для приемника Managed Service for Apache Kafka®.

   • Тип базы данных — Kafka.

   • Параметры эндпоинта:

     • Настройки подключения:

       • Тип подключения — выберите Кластер Managed Service for Apache Kafka.
       • Кластер Managed Service for Apache Kafka — выберите кластер Managed Service for Apache Kafka® из списка.
       • Аутентификация — выберите SASL.
       • Имя пользователя — введите имя пользователя в кластере Managed Service for Apache Kafka®.
       • Пароль — введите пароль пользователя в кластере Managed Service for Apache Kafka®.
       • Топик — выберите Полное имя топика.
       • Полное имя топика — введите имя топика в кластере Managed Service for Apache Kafka®.

3. Создайте трансфер:

   Вручную

   Terraform

   1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
   2. Активируйте его.

   1. Укажите в файле yds-to-kafka.tf значения переменных:

      • source_endpoint_id — идентификатор эндпоинта для источника;
      • target_endpoint_id — идентификатор эндпоинта для приемника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Отправьте в поток Data Streams тестовые данные:

   {
       "device_id":"iv9a94th6rzt********",
       "datetime":"2020-06-05T17:27:00",
       "latitude":"55.70329032",
       "longitude":"37.65472196",
       "altitude":"427.5",
       "speed":"0",
       "battery_voltage":"23.5",
       "cabin_temperature":"17",
       "fuel_level":null
   }
   

3. Убедитесь, что данные перенеслись в топик sensors кластера Managed Service for Apache Kafka®:

   1. Получите SSL-сертификат для подключения к кластеру Managed Service for Apache Kafka®.
   2. Установите утилиту kafkacat.
   3. Запустите команду получения сообщений из топика.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.
2. Удалите эндпоинты для источника и приемника.
3. Если при создании эндпоинта для источника вы создавали сервисный аккаунт, удалите его.

Остальные ресурсы удалите в зависимости от способа их создания: