Сохранение потока данных Yandex Data Streams в Yandex Managed Service for ClickHouse®

С помощью сервиса Data Transfer вы можете поставлять данные из потока Data Streams в сервис Managed Service for ClickHouse®.

Чтобы перенести данные:

1. Подготовьте поток данных Data Streams.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте поток данных Data StreamsПодготовьте поток данных Data Streams

1. Создайте поток данных Data Streams.
2. Отправьте в поток тестовые данные. В качестве сообщения используйте данные от сенсоров автомобиля в формате JSON:

{
    "device_id":"iv9a94th6rzt********",
    "datetime":"2022-06-05 17:27:00",
    "latitude":55.70329032,
    "longitude":37.65472196,
    "altitude":427.5,
    "speed":0,
    "battery_voltage":"23.5",
    "cabin_temperature":17,
    "fuel_level":null
}

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для источника:

   • Тип базы данных — Yandex Data Streams.

   • Параметры эндпоинта:

     • Настройки подключения:

       • База данных — выберите базу данных Managed Service for YDB из списка.
       • Поток — укажите имя потока Data Streams.
       • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

     • Расширенные настройки:

       • Правила конвертации — JSON.
       • Схема данных – Вы можете задать схему двумя способами:

         • Список полей.

           Задайте список полей топика вручную:

           Имя	Тип	Ключ
           device_id	STRING	Да
           datetime	DATETIME
           latitude	DOUBLE
           longitude	DOUBLE
           altitude	DOUBLE
           speed	DOUBLE
           battery_voltage	ANY
           cabin_temperature	DOUBLE
           fuel_level	ANY

         • JSON-спецификация.

           Создайте и загрузите файл схемы данных в формате JSON json_schema.json:

           json_schema.json

           [
               {
                   "name": "device_id",
                   "type": "string",
                   "key": true
               },
               {
                   "name": "datetime",
                   "type": "datetime"
               },
               {
                   "name": "latitude",
                   "type": "double"
               },
               {
                   "name": "longitude",
                   "type": "double"
               },
               {
                   "name": "altitude",
                   "type": "double"
               },
               {
                   "name": "speed",
                   "type": "double"
               },
               {
                   "name": "battery_voltage",
                   "type": "any"
               },
               {
                   "name": "cabin_temperature",
                   "type": "double"
               },
               {
                   "name": "fuel_level",
                   "type": "any"
               }
           ]
           

2. Создайте трансфер:

   Вручную

   Terraform

   1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
   2. Активируйте его.

   1. Укажите в файле data-transfer-yds-mch.tf переменные:

      • source_endpoint_id — значение идентификатора эндпоинта для источника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Отправьте в поток Data Streams новое сообщение:

   {
       "device_id":"rhibbh3y08qm********",
       "datetime":"2022-06-06 09:49:54",
       "latitude":55.71294467,
       "longitude":37.66542005,
       "altitude":429.13,
       "speed":55.5,
       "battery_voltage":null,
       "cabin_temperature":18,
       "fuel_level":32
   }
   

3. Убедитесь, что в базу данных кластера Managed Service for ClickHouse® перенеслись данные из потока Data Streams:

   1. Подключитесь к кластеру-приемнику Managed Service for ClickHouse®.
   2. Проверьте, что в базе ClickHouse® существует таблица с именем созданного потока Data Streams с теми же колонками, что и схема данных в эндпоинте-источнике, и отправленными тестовыми данными.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.

2. Удалите ресурсы в зависимости от способа их создания:

   Вручную

   Terraform

   • Удалите эндпоинт для приемника.
   • Удалите базу данных Managed Service for YDB.
   • Удалите кластер Managed Service for ClickHouse®.

   1. В терминале перейдите в директорию с планом инфраструктуры.

   2. Удалите конфигурационный файл data-transfer-yds-mch.tf.

   3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   4. Подтвердите изменение ресурсов.

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Все ресурсы, которые были описаны в конфигурационном файле data-transfer-yds-mch.tf, будут удалены.

3. Удалите эндпоинт для источника.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.