Миграция данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for MySQL®
Вы можете настроить перенос данных из базы Managed Service for PostgreSQL в базу Managed Service for MySQL® с помощью сервиса Data Transfer. Для этого:
- Подготовьте тестовые данные.
- Подготовьте и активируйте трансфер.
- Проверьте работоспособность трансфера.
Если созданные ресурсы вам больше не нужны, удалите их.
Перед началом работы
Подготовьте инфраструктуру:
-
Создайте кластер-источник Managed Service for PostgreSQL в любой зоне доступности, с хостами любой подходящей конфигурации в публичном доступе, и следующими настройками:
- Имя БД —
mpg_db
. - Имя пользователя —
mpg_user
. - Пароль —
<пароль_источника>
.
- Имя БД —
-
Выдайте роль
mdb_replication
пользователюmpg_user
. -
В той же зоне доступности создайте кластер-приемник Managed Service for MySQL® с хостами любой подходящей конфигурации в публичном доступе и следующими настройками:
- Имя БД —
mmy_db
. - Имя пользователя —
mmy_user
. - Пароль —
<пароль_приемника>
.
- Имя БД —
-
Убедитесь, что группы безопасности кластеров настроены правильно и допускают подключение к ним:
-
Если у вас еще нет Terraform, установите его.
-
Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.
-
Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его
. -
Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.
-
Скачайте в ту же рабочую директорию файл конфигурации postgresql-mysql.tf
.В этом файле описаны:
- сети и подсети для размещения кластеров;
- группы безопасности для подключения к кластерам;
- кластер-источник Managed Service for PostgreSQL;
- кластер-приемник Managed Service for MySQL®;
- эндпоинты для источника и приемника;
- трансфер.
-
Укажите в файле
postgresql-mysql.tf
:- Версии MySQL® и PostgreSQL.
- Пароли пользователей MySQL® и PostgreSQL.
-
Проверьте корректность файлов конфигурации Terraform с помощью команды:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
Создайте необходимую инфраструктуру:
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления
. -
Подготовьте тестовые данные
-
Подключитесь к базе данных в кластере-источнике Managed Service for PostgreSQL.
-
Наполните базу тестовыми данными. В качестве примера используется простая таблица, содержащая информацию, поступающую от некоторых датчиков автомобиля.
Создайте таблицу:
CREATE TABLE measurements ( device_id varchar(200) NOT NULL, datetime timestamp NOT NULL, latitude real NOT NULL, longitude real NOT NULL, altitude real NOT NULL, speed real NOT NULL, battery_voltage real, cabin_temperature real NOT NULL, fuel_level real, PRIMARY KEY (device_id) );
Наполните таблицу данными:
INSERT INTO measurements VALUES ('iv9a94th6rzt********', '2022-06-05 17:27:00', 55.70329032, 37.65472196, 427.5, 0, 23.5, 17, NULL), ('rhibbh3y08qm********', '2022-06-06 09:49:54', 55.71294467, 37.66542005, 429.13, 55.5, NULL, 18, 32);
Подготовьте и активируйте трансфер
-
Создайте эндпоинт-источник типа
PostgreSQL
и укажите в нем параметры подключения к кластеру:- Тип инсталляции —
Кластер Managed Service for PostgreSQL
. - Кластер Managed Service for PostgreSQL —
<имя_кластера_источника_PostgreSQL>
из выпадающего списка. - База данных —
mpg_db
. - Пользователь —
mpg_user
. - Пароль —
<пароль_пользователя>
.
- Тип инсталляции —
-
Создайте эндпоинт-приемник типа
MySQL®
и укажите в нем параметры подключения к кластеру:- Тип подключения —
Кластер Managed Service for MySQL
. - Кластер Managed Service for MySQL —
<имя_кластера_приемника_MySQL®>
из выпадающего списка. - База данных —
mmy_db
. - Пользователь —
mmy_user
. - Пароль —
<пароль_пользователя>
.
- Тип подключения —
-
Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.
-
Активируйте трансфер и дождитесь его перехода в статус Реплицируется.
-
Укажите в файле
postgresql-mysql.tf
значение1
для параметраtransfer_enabled
. -
Проверьте корректность файлов конфигурации Terraform с помощью команды:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
Создайте необходимую инфраструктуру:
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
-
-
Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.
Примечание
Если при активации трансфера возникает ошибка вида Unable to push DDL
:
- Подключитесь к базе приемника и создайте в ней пустую таблицу
measurements
, аналогичную таблице в источнике. - Перезапустите трансфер.
Проверьте работоспособность трансфера
Чтобы убедиться в работоспособности трансфера, проверьте работу копирования и репликации.
Проверьте работу копирования
-
Подключитесь к базе данных в кластере-приемнике Managed Service for MySQL®.
-
Убедитесь, что таблица из источника перенесена в базу приемника. Для этого выполните запрос:
SELECT * FROM measurements;
Проверьте работу репликации
-
Подключитесь к базе данных в кластере-источнике Managed Service for PostgreSQL.
-
Добавьте данные в таблицу
measurements
:INSERT INTO measurements VALUES ('iv7b74th678t********', '2020-06-08 17:45:00', 53.70987913, 36.62549834, 378.0, 20.5, 5.3, 20, NULL);
-
Убедитесь, что добавленная строка появилась в базе данных приемника:
-
Подключитесь к базе данных в кластере-приемнике Managed Service for MySQL®.
-
Выполните запрос:
SELECT * FROM measurements;
-
Удалите созданные ресурсы
Примечание
Перед тем как удалить созданные ресурсы, деактивируйте трансфер.
Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:
Если вы создавали ресурсы с помощью Terraform:
-
В терминале перейдите в директорию с планом инфраструктуры.
-
Удалите конфигурационный файл
postgresql-mysql.tf
. -
Проверьте корректность файлов конфигурации Terraform с помощью команды:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
Подтвердите изменение ресурсов.
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
Все ресурсы, которые были описаны в конфигурационном файле
postgresql-mysql.tf
, будут удалены. -