Миграция данных из Yandex Object Storage в Managed Service for MySQL® с помощью Yandex Data Transfer

С помощью сервиса Data Transfer вы можете перенести данные из объектного хранилища Object Storage в кластер-приемник Managed Service for MySQL®.

Чтобы перенести данные:

1. Подготовьте тестовые данные.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Бакет Object Storage: использование хранилища и выполнение операций с данными (см. тарифы Object Storage).
• Кластер Managed Service for MySQL®: выделенные хостам вычислительные ресурсы, объем хранилища и резервных копий (см. тарифы Managed Service for MySQL®).
• Публичные IP-адреса, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте тестовые данныеПодготовьте тестовые данные

1. Создайте на рабочей машине текстовый файл data.csv и наполните его тестовыми данными. В качестве примера используются показатели датчиков автомобиля:

   1;99101;2022-06-05 17:27:00;55.70329032;37.65472196;427.5;52.3;23.5;17.;52.
   2;95106;2022-06-06 09:49:54;55.71294467;37.66542005;429.13;55.5;21.;18.;32.
   3;117890;2023-06-07 06:21:29;55.71294467;37.66542005;429.13;56.2;20.;18.7;45.
   4;99101;2022-06-07 08:15:32;55.29194467;37.66542005;429.13;59.1;21.;18.;20.
   

2. Загрузите файл в созданный ранее бакет Object Storage.

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для источника со следующими настройками:

   • Тип базы данных — Object Storage.

   • Бакет — имя бакета в Object Storage.

   • Идентификатор ключа доступа AWS — открытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.

   • Секретный ключ доступа AWS — закрытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.

   • Эндпоинт — https://storage.yandexcloud.kz.

   • Регион — ru-central1.

   • Формат данных — CSV.

   • Разделитель — знак точки с запятой ;.

   • Таблица — measurements.

   • Добавить системные колонки — выключите опцию.

   • Схема результирующей таблицы — выберите Вручную и укажите имена полей и тип данных:

     • id: INT64, признак Ключ;

     • device_id: INT32;

     • datetime: DATETIME;

       Примечание

       Эндпоинт-приемник записывает данные с типом DATETIME в часовом поясе UTC+0.

     • latitude: DOUBLE;

     • longitude: DOUBLE;

     • altitude: DOUBLE;

     • speed: DOUBLE;

     • battery_voltage: DOUBLE;

     • cabin_temperature: DOUBLE;

     • fuel_level: DOUBLE.

   Остальные параметры оставьте по умолчанию.

2. Создайте эндпоинт для приемника и трансфер:

   Вручную

   Terraform

   1. Создайте эндпоинт для приемника:

      • Тип базы данных — MySQL.

      • Параметры эндпоинта:

        • Настройки подключения:

          • Тип подключения — Кластер Managed Service for MySQL.

            Выберите кластер-источник из списка и укажите настройки подключения к нему.

   2. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

   3. Активируйте его.

   1. Укажите в файле data-transfer-objs-mmy.tf переменные:

      • source_endpoint_id — значение идентификатора эндпоинта для источника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру для трансфера:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Подключитесь к базе данных в кластере-приемнике Managed Service for MySQL®.

3. Чтобы убедиться, что данные успешно перенесены, выполните запрос:

   SELECT * FROM db1.measurements;
   

   Пример ответа

    id | device_id |     datetime        |  latitude | longitude | altitude | speed | battery_voltage | cabin_temperature | fuel_level
   ----------------+---------------------+-----------+-----------+----------+-------+-----------------+-------------------+----------+
     1 |     99101 | 2022-06-05T17:27:00 | 55.703289 |  37.66542 |   427.50 | 52.29 |            23.5 |              17.0 |     52.0 |
     2 |     95106 | 2022-06-06T09:49:54 | 55.712944 |  37.66542 |   429.13 | 55.50 |            21.0 |              18.0 |     32.0 |
     3 |    117890 | 2023-06-07T06:21:29 | 55.712944 |  37.66542 |   429.13 | 56.20 |            20.0 |              18.7 |     45.0 |
     4 |     99101 | 2022-06-05 17:27:00 | 55.291944 |  37.66542 |   429.13 | 59.09 |            21.0 |              18.0 |     20.0 |
   

4. Создайте текстовый файл data2.csv, в котором содержатся новые данные:

   7;95106;2022-06-07 09:54:32;47.71294467;37.66542005;429.13;62.2;21.;20.4;27.
   9;117890;2022-06-07 11:56:27;52.71294467;37.66542005;429.13;65.5;19.;19.;38.
   10;117890;2022-06-07 12:36:27;57.71294467;37.66542005;429.13;72.1;19.;20.;25.
   11;99101;2022-06-07 15:22:27;59.71294467;37.66542005;429.13;35.5;19.;18.;12.
   

5. Загрузите файл в бакет Object Storage для трансфера.

6. Убедитесь, что в таблицу db1.measurements базы-приемника MySQL® добавились новые данные.

Удалите созданные ресурсыУдалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

1. Удалите трансфер.

2. Удалите эндпоинт для приемника.

3. Остальные ресурсы удалите в зависимости от способа их создания:

   Вручную

   Terraform

   1. Удалите эндпоинт для источника.

   2. Удалите бакет Object Storage.

   3. Удалите кластер Managed Service for MySQL®.

   4. Если при создании эндпоинта для приемника вы создавали сервисный аккаунт, удалите его.

   1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

   2. Удалите ресурсы:

      1. Выполните команду:

         terraform destroy
         

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.