Поставка данных из очереди Data Streams в Managed Service for Apache Kafka®

С помощью сервиса Data Transfer можно поставлять данные из потока Data Streams в кластер Managed Service for Apache Kafka®.

Чтобы перенести данные:

1. Подготовьте поток данных Data Streams.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

• База данных Managed Service for YDB (см. тарифы Managed Service for YDB). Стоимость зависит от режима использования:

  • Для бессерверного режима — оплачиваются операции с данными, объем хранимых данных и резервных копий.
  • Для режима с выделенными инстансами — оплачивается использование выделенных БД вычислительных ресурсов, объем хранилища и резервные копии.

• Сервис Data Streams (см. тарифы Data Streams). Стоимость зависит от режима тарификации:

  • По выделенным ресурсам — оплачивается фиксированная почасовая ставка за установленный лимит пропускной способности и срок хранения сообщений, а также дополнительно количество единиц фактически записанных данных.
  • По фактическому использованию (On-demand) — оплачиваются выполненные операции записи и чтения данных, объем считанных/записанных данных, а также объем фактически используемого хранилища для сообщений, по которым не истек срок хранения.

• Кластер Managed Service for Apache Kafka®: выделенные хостам вычислительные ресурсы, объем хранилища и резервных копий (см. тарифы Managed Service for Apache Kafka®).

• Публичные IP-адреса, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).

• Каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру поставки данных:

Создайте поток данных Data StreamsСоздайте поток данных Data Streams

Создайте поток данных Data Streams.

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для источника Data Streams.

   • Тип базы данных — Yandex Data Streams.

   • Параметры эндпоинта:

     • Настройки подключения:

       • База данных — выберите базу данных Managed Service for YDB из списка.
       • Поток — укажите имя потока Data Streams.
       • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

     • Расширенные настройки:

       • Правила конвертации — JSON.
       • Схема данных — JSON-спецификация:

       Заполните схему данных:

       Схема данных

           [
               {
                   "name": "device_id",
                   "type": "string"
               },
               {
                   "name": "datetime",
                   "type": "datetime"
               },
               {
                   "name": "latitude",
                   "type": "double"
               },
               {
                   "name": "longitude",
                   "type": "double"
               },
               {
                   "name": "altitude",
                   "type": "double"
               },
               {
                   "name": "speed",
                   "type": "double"
               },
               {
                   "name": "battery_voltage",
                   "type": "any"
               },
               {
                   "name": "cabin_temperature",
                   "type": "double"
               },
               {
                   "name": "fuel_level",
                   "type": "any"
               }
           ]
       

2. Создайте эндпоинт для приемника Managed Service for Apache Kafka®.

   • Тип базы данных — Kafka.

   • Параметры эндпоинта:

     • Настройки подключения:

       • Тип подключения — выберите Кластер Managed Service for Apache Kafka.
       • Кластер Managed Service for Apache Kafka — выберите кластер Managed Service for Apache Kafka® из списка.
       • Аутентификация — выберите SASL.
       • Имя пользователя — введите имя пользователя в кластере Managed Service for Apache Kafka®.
       • Пароль — введите пароль пользователя в кластере Managed Service for Apache Kafka®.
       • Топик — выберите Полное имя топика.
       • Полное имя топика — введите имя топика в кластере Managed Service for Apache Kafka®.

3. Создайте трансфер:

   Вручную

   Terraform

   1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
   2. Активируйте его.

   1. Укажите в файле yds-to-kafka.tf значения переменных:

      • source_endpoint_id — идентификатор эндпоинта для источника;
      • target_endpoint_id — идентификатор эндпоинта для приемника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Отправьте в поток Data Streams тестовые данные:

   {
       "device_id":"iv9a94th6rzt********",
       "datetime":"2020-06-05T17:27:00",
       "latitude":"55.70329032",
       "longitude":"37.65472196",
       "altitude":"427.5",
       "speed":"0",
       "battery_voltage":"23.5",
       "cabin_temperature":"17",
       "fuel_level":null
   }
   

3. Убедитесь, что данные перенеслись в топик sensors кластера Managed Service for Apache Kafka®:

   1. Получите SSL-сертификат для подключения к кластеру Managed Service for Apache Kafka®.
   2. Установите утилиту kafkacat.
   3. Запустите команду получения сообщений из топика.

Удалите созданные ресурсыУдалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

1. Удалите трансфер.

2. Удалите эндпоинты для источника и приемника.

3. Если при создании эндпоинта для источника вы создавали сервисный аккаунт, удалите его.

4. Остальные ресурсы удалите в зависимости от способа их создания:

   Вручную

   Terraform

   1. Удалите кластер Managed Service for Apache Kafka®.
   2. Удалите базу данных Managed Service for YDB..

   1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

   2. Удалите ресурсы:

      1. Выполните команду:

         terraform destroy
         

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.