Миграция данных из стороннего кластера MySQL®

1. В терминале перейдите в директорию с планом инфраструктуры.

2. Удалите конфигурационный файл data-transfer-mysql-mmy.tf.

3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

   terraform validate
   

   Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   Все ресурсы, которые были описаны в конфигурационном файле data-transfer-mysql-mmy.tf, будут удалены.

1. Если у вас еще нет Terraform, установите его.

2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

5. Скачайте в ту же рабочую директорию файл конфигурации data-migration-mysql-mmy.tf.

   В этом файле описаны:

   • сеть;
   • подсеть;
   • группа безопасности и правило, необходимое для подключения к кластеру;
   • кластер Managed Service for MySQL® с публичным доступом из интернета;
   • (опционально) виртуальная машина с публичным доступом из интернета.

6. Укажите в файле data-migration-mysql-mmy.tf:

   • параметры кластера-приемника:

     • target_mysql_version — версия MySQL®, она должна быть не ниже чем в кластере-источнике;
     • target_sql_mode — режим SQL, он должен быть таким же, как и в кластере-источнике;
     • target_db_name — имя базы данных;
     • target_user и target_password — имя и пароль пользователя-владельца базы данных.

   • (опционально) параметры виртуальной машины:

     • vm_image_id — идентификатор публичного образа с Ubuntu без GPU. Например, для Ubuntu 20.04 LTS.
     • vm_username и vm_public_key — логин и абсолютный путь к публичному ключу, которые будут использоваться для доступа к виртуальной машине. По умолчанию в образе Ubuntu 20.04 LTS указанный логин игнорируется, вместо него создается пользователь с логином ubuntu. Используйте его для подключения к виртуальной машине.

7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

   terraform validate
   

   Если в файлах конфигурации есть ошибки, Terraform на них укажет.

8. Создайте необходимую инфраструктуру:

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

1. Переключите базу в режим только чтение, чтобы не потерять данные, которые могут появиться во время создания дампа.

2. Создайте директорию для файлов дампа:

   mkdir db_dump
   

3. Установите утилиту mydumper в кластер-источник, например (для Ubuntu):

   sudo apt update && sudo apt install mydumper --yes
   

4. Создайте дамп базы данных:

   mydumper \
       --triggers \
       --events \
       --routines \
       --outputdir=db_dump \
       --rows=10000000 \
       --threads=8 \
       --compress \
       --database=<имя_БД> \
       --user=<имя_пользователя> \
       --ask-password \
       --host=<FQDN_или_IP-адрес>
   

   Где:

   • --triggers — дамп триггеров.
   • --events — дамп событий.
   • --routines — дамп хранимых процедур и функций.
   • --outputdir — директория для файлов дампа.
   • --rows — количество строк во фрагментах, на которые будут разбиты таблицы. Чем меньше значение, тем больше будет файлов в дампе.
   • --threads — количество используемых потоков. Рекомендуется использовать значение, равное половине свободных ядер на сервере.
   • --compress — сжатие выходных файлов.
   • --host — FQDN или IP-адрес хоста-мастера в кластере-источнике.

5. В файлах дампа исправьте имена движков таблиц на InnoDB:

   sed -i -e 's/MyISAM/InnoDB/g' -e 's/MEMORY/InnoDB/g' `find /db_dump -name '*-schema.sql'`
   

6. Упакуйте дамп в архив:

   tar -cvzf db_dump.tar.gz ~/db_dump
   

Этот способ подходит, если вы создали дамп с помощью утилиты mydumper и используете для восстановления промежуточную виртуальную машину.

1. Установите утилиту myloader на хост, с которого выполняется восстановление дампа, например (для Ubuntu):

   sudo apt update && sudo apt install mydumper --yes
   

2. Запустите восстановление базы из дампа:

   myloader \
       --host=c-<идентификатор_кластера-приемника>.rw.mdb.yandexcloud.net \
       --directory=db_dump/ \
       --overwrite-tables \
       --threads=8 \
       --compress-protocol \
       --user=<имя_пользователя> \
       --ask-password
   

Чтобы удалить инфраструктуру, созданную с помощью Terraform:

1. В терминале перейдите в директорию с планом инфраструктуры.

2. Удалите конфигурационный файл data-migration-mysql-mmy.tf.

3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

   terraform validate
   

   Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   Все ресурсы, которые были описаны в конфигурационном файле data-migration-mysql-mmy.tf, будут удалены.