Поставка данных из очереди Data Streams в Managed Service for Apache Kafka® с помощью Yandex Data Transfer

С помощью сервиса Data Transfer можно поставлять данные из потока Data Streams в кластер Managed Service for Apache Kafka®.

Чтобы перенести данные:

1. Подготовьте поток данных Data Streams.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Подготовьте инфраструктуру поставки данных:

Создайте поток данных Data StreamsСоздайте поток данных Data Streams

Создайте поток данных Data Streams.

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для источника Data Streams.

   • Тип базы данных — Yandex Data Streams.

   • Параметры эндпоинта:

     • Настройки подключения:

       • База данных — выберите базу данных Managed Service for YDB из списка.
       • Поток — укажите имя потока Data Streams.
       • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

     • Расширенные настройки:

       • Правила конвертации — JSON.
       • Схема данных — JSON-спецификация:

       Заполните схему данных:

       Схема данных

           [
               {
                   "name": "device_id",
                   "type": "string"
               },
               {
                   "name": "datetime",
                   "type": "datetime"
               },
               {
                   "name": "latitude",
                   "type": "double"
               },
               {
                   "name": "longitude",
                   "type": "double"
               },
               {
                   "name": "altitude",
                   "type": "double"
               },
               {
                   "name": "speed",
                   "type": "double"
               },
               {
                   "name": "battery_voltage",
                   "type": "any"
               },
               {
                   "name": "cabin_temperature",
                   "type": "double"
               },
               {
                   "name": "fuel_level",
                   "type": "any"
               }
           ]
       

2. Создайте эндпоинт для приемника Managed Service for Apache Kafka®.

   • Тип базы данных — Kafka.

   • Параметры эндпоинта:

     • Настройки подключения:

       • Тип подключения — выберите Кластер Managed Service for Apache Kafka.
       • Кластер Managed Service for Apache Kafka — выберите кластер Managed Service for Apache Kafka® из списка.
       • Аутентификация — выберите SASL.
       • Имя пользователя — введите имя пользователя в кластере Managed Service for Apache Kafka®.
       • Пароль — введите пароль пользователя в кластере Managed Service for Apache Kafka®.
       • Топик — выберите Полное имя топика.
       • Полное имя топика — введите имя топика в кластере Managed Service for Apache Kafka®.

3. Создайте трансфер:

   Вручную

   Terraform

   1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
   2. Активируйте его.

   1. Укажите в файле yds-to-kafka.tf значения переменных:

      • source_endpoint_id — идентификатор эндпоинта для источника;
      • target_endpoint_id — идентификатор эндпоинта для приемника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Отправьте в поток Data Streams тестовые данные:

   {
       "device_id":"iv9a94th6rzt********",
       "datetime":"2020-06-05T17:27:00",
       "latitude":"55.70329032",
       "longitude":"37.65472196",
       "altitude":"427.5",
       "speed":"0",
       "battery_voltage":"23.5",
       "cabin_temperature":"17",
       "fuel_level":null
   }
   

3. Убедитесь, что данные перенеслись в топик sensors кластера Managed Service for Apache Kafka®:

   1. Получите SSL-сертификат для подключения к кластеру Managed Service for Apache Kafka®.
   2. Установите утилиту kafkacat.
   3. Запустите команду получения сообщений из топика.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.
2. Удалите эндпоинты для источника и приемника.
3. Если при создании эндпоинта для источника вы создавали сервисный аккаунт, удалите его.

Остальные ресурсы удалите в зависимости от способа их создания: