Миграция данных из MySQL® в YDB

С помощью сервиса Data Transfer вы можете перенести данные из кластера-источника Managed Service for MySQL® в Managed Service for YDB.

Чтобы перенести данные:

1. Подготовьте кластер-источник.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте инфраструктуруПодготовьте инфраструктуру

Подготовьте кластер-источникПодготовьте кластер-источник

1. Если создавали инфраструктуру вручную, подготовьте кластер-источник.

2. Подключитесь к кластеру-источнику Managed Service for MySQL®.

3. Наполните базу тестовыми данными. В качестве примера используется простая таблица, содержащая информацию, поступающую от некоторых датчиков автомобиля.

   Создайте таблицу:

   CREATE TABLE measurements (
       device_id varchar(200) NOT NULL,
       datetime timestamp NOT NULL,
       latitude real NOT NULL,
       longitude real NOT NULL,
       altitude real NOT NULL,
       speed real NOT NULL,
       battery_voltage real,
       cabin_temperature real NOT NULL,
       fuel_level real,
       PRIMARY KEY (device_id)
   );
   

   Наполните таблицу данными:

   INSERT INTO measurements VALUES
       ('iv9a94th6rzt********', '2022-06-05 17:27:00', 55.70329032, 37.65472196,  427.5,    0, 23.5, 17, NULL),
       ('rhibbh3y08qm********', '2022-06-06 09:49:54', 55.71294467, 37.66542005, 429.13, 55.5, NULL, 18, 32);
   

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для приемника:

   • Тип базы данных — YDB.

   • Параметры эндпоинта:

     • Настройки подключения → База данных — выберите базу данных Managed Service for YDB из списка.
     • Идентификатор сервисного аккаунта — выберите или создайте сервисный аккаунт с ролью ydb.editor.

2. Создайте эндпоинт для источника и трансфер:

   Вручную

   Terraform

   1. Создайте эндпоинт для источника:

      • Тип базы данных — MySQL®.

      • Параметры эндпоинта → Настройки подключения — Кластер Managed Service for MySQL.

        Выберите кластер-источник из списка и укажите настройки подключения к нему.

   2. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

   3. Активируйте его.

   1. Раскомментируйте в файле data-transfer-mmy-ydb.tf:

      • переменную target_endpoint_id и задайте ей значение идентификатора эндпоинта для приемника, созданного на предыдущем шаге;
      • ресурсы yandex_datatransfer_endpoint и yandex_datatransfer_transfer.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Убедитесь, что в базу данных Managed Service for YDB перенеслись данные из кластера-источника Managed Service for MySQL®:

   Консоль управления

   CLI

   1. В консоли управления выберите каталог, в котором находится нужная база данных.
   2. В списке сервисов выберите Managed Service for YDB.
   3. Выберите базу из списка.
   4. Перейдите на вкладку Навигация.
   5. Проверьте, что база данных Managed Service for YDB содержит таблицу <имя_БД_кластера-источника>_measurements с тестовыми данными.

   1. Подключитесь к базе данных Managed Service for YDB.

   2. Проверьте, что база данных содержит таблицу <имя_БД_кластера-источника>_measurements с тестовыми данными:

      SELECT *
      FROM <имя_БД_кластера-источника>_measurements;
      

3. Подключитесь к кластеру-источнику Managed Service for MySQL® и добавьте данные в таблицу measurements:

   INSERT INTO measurements VALUES
       ('iv7b74th678t********', '2020-06-08 17:45:00', 53.70987913, 36.62549834, 378.0, 20.5, 5.3, 20, NULL);
   

4. Убедитесь, что в базе данных Managed Service for YDB отобразились сведения о добавленной строке:

   Консоль управления

   CLI

   1. В консоли управления выберите каталог, в котором находится нужная база данных.
   2. В списке сервисов выберите Managed Service for YDB.
   3. Выберите базу из списка.
   4. Перейдите на вкладку Навигация.
   5. Проверьте, что в таблицу <имя_БД_кластера-источника>_measurements добавились новые данные.

   1. Подключитесь к базе данных Managed Service for YDB.

   2. Проверьте, что в таблицу <имя_БД_кластера-источника>_measurements добавились новые данные:

      SELECT *
      FROM <имя_БД_кластера-источника>_measurements;
      

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.
2. Удалите эндпоинт для приемника.
3. Если при создании эндпоинта для приемника вы создавали сервисный аккаунт, удалите его.

Остальные ресурсы удалите в зависимости от способа их создания: