Поставка данных в Yandex Managed Service for YDB с помощью Yandex Data Transfer

В кластер Managed Service for YDB можно в реальном времени поставлять данные из базы данных PostgreSQL. Эти данные будут автоматически добавлены в таблицы YDB с именами исходных схем и таблиц.

Чтобы запустить поставку данных:

1. Подготовьте кластер-источник.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Подготовьте инфраструктуру поставки данных:

Подготовьте кластер-источникПодготовьте кластер-источник

1. Подключитесь к базе данных кластера-источника от имени созданного пользователя.

2. Наполните базу тестовыми данными. В качестве примера используется простая таблица, содержащая информацию с некоторых датчиков автомобиля.

   Создайте таблицу:

   CREATE TABLE public.sensors (
       "device_id" text PRIMARY KEY NOT NULL,
       "datetime" timestamp NOT NULL,
       "latitude" real NOT NULL,
       "longitude" real NOT NULL,
       "altitude" real NOT NULL,
       "speed" real NOT NULL,
       "battery_voltage" real,
       "cabin_temperature" real NOT NULL,
       "fuel_level" real
   );
   

   Наполните таблицу данными:

   INSERT INTO public.sensors VALUES
       ('iv9a94th6rzt********', '2020-06-05 17:27:00', 55.70329032, 37.65472196,  427.5,    0, 23.5, 17, NULL),
       ('rhibbh3y08qm********', '2020-06-06 09:49:54', 55.71294467, 37.66542005, 429.13, 55.5, NULL, 18, 32),
       ('iv9a94th678t********', '2020-06-07 15:00:10', 55.70985913, 37.62141918,  417.0, 15.7, 10.3, 17, NULL);
   

3. Подготовьте кластер-источник к трансферу.

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для приемника:

   • Тип базы данных — YDB.

   • Параметры эндпоинта:

     • Настройки подключения:
       • База данных — выберите базу данных Managed Service for YDB из списка.
       • Идентификатор сервисного аккаунта — выберите или создайте сервисный аккаунт с ролью ydb.editor.

2. Создайте эндпоинт для источника и трансфер:

   Вручную

   Terraform

   1. Создайте эндпоинт для созданного ранее источника PostgreSQL с настройками:

      • Тип базы данных — PostgreSQL.
      • Параметры эндпоинта:
        • Тип инсталляции — Кластер Managed Service for PostgreSQL.
        • Кластер Managed Service for PostgreSQL — созданный кластер Managed Service for PostgreSQL.
        • База данных — имя созданной БД в кластере Managed Service for PostgreSQL.
        • Пользователь — имя созданного пользователя в кластере Managed Service for PostgreSQL.
        • Пароль — пароль пользователя.
        • Список включённых таблиц — <имя_БД>.sensors.

   2. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

   3. Активируйте трансфер.

   1. Укажите в файле data-transfer-mpg-ydb.tf значения параметров:

      • target_endpoint_id — значение идентификатора эндпоинта для приемника;
      • transfer_enabled – значение 1 для создания эндпоинта-источника и трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Убедитесь, что в базу данных Managed Service for YDB перенеслись данные из кластера-источника Managed Service for PostgreSQL:

   Консоль управления

   1. В консоли управления выберите каталог, в котором находится нужная база данных.
   2. В списке сервисов выберите Managed Service for YDB.
   3. Выберите базу из списка.
   4. Перейдите на вкладку Навигация.
   5. Проверьте, что база данных Managed Service for YDB содержит таблицу public_sensors с тестовыми данными.

3. Подключитесь к кластеру-источнику Managed Service for PostgreSQL и добавьте данные в таблицу sensors:

   INSERT INTO public.sensors VALUES
       ('iv7b74th678t********', '2020-06-08 17:45:00', 53.70987913, 36.62549834, 378.0, 20.5, 5.3, 20, NULL);
   

4. Убедитесь, что в базе данных Managed Service for YDB отобразились сведения о добавленной строке:

   Консоль управления

   YDB CLI

   1. В консоли управления выберите каталог, в котором находится нужная база данных.
   2. В списке сервисов выберите Managed Service for YDB.
   3. Выберите базу из списка.
   4. Перейдите на вкладку Навигация.
   5. Проверьте, что в таблицу public_sensors добавились новые данные.

   1. Подключитесь к базе данных Managed Service for YDB.

   2. Проверьте, что в таблицу public_sensors добавились новые данные:

      ydb table query execute \
        --query "SELECT * \
        FROM public_sensors"
      

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать: