Миграция кластера Yandex Managed Service for PostgreSQL на другую версию c помощью Data Transfer

Вы можете перенести продуктивную нагруженную базу данных, развернутую в кластере Managed Service for PostgreSQL, в кластер со старшей версией. В этом руководстве рассматривается пример переноса с версии 13 сразу на версию 17, без последовательного переноса между несколькими версиями (13 → 14 → 15 → 16 → 17).

Чтобы перенести данные:

1. Подготовьте кластер-источник.
2. Подготовьте кластер-приемник.
3. Подготовьте и активируйте трансферы.
4. Переключитесь на работу с новым кластером.
5. Проверьте перенос данных.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер PostgreSQL: выделенные хостам вычислительные ресурсы, объем хранилища и резервных копий (см. тарифы PostgreSQL).
• Публичные IP-адреса, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).
• Каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Подготовьте кластер-источникПодготовьте кластер-источник

1. Подготовьте базу-источник к миграции в соответствии с рекомендациями.

2. Оцените нагрузку на базу данных. Если она превышает 10 000 операций на запись в секунду, запланируйте несколько трансферов:

   1. Определите список особо нагруженных таблиц.
   2. Распределите таблицы между несколькими трансферами.

Подготовьте кластер-приемникПодготовьте кластер-приемник

1. Создайте кластер-приемник Managed Service for PostgreSQL:

   Вручную

   С помощью Terraform

   Создайте кластер-приемник Managed Service for PostgreSQL с конфигурацией, идентичной кластеру-источнику, и со следующими настройками:

   • Версия кластера — 17.
   • Имя базы данных — db1.
   • Имя пользователя — user1.

   Если вы планируете подключаться к кластеру из интернета, включите публичный доступ к хостам кластера.

   1. Если у вас еще нет Terraform, установите его.

   2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

   3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

   4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

   5. В той же рабочей директории разместите файл с расширением .tf и содержимым:

      resource "yandex_mdb_postgresql_cluster" "old" { }
      

   6. Запишите идентификатор кластера PostgreSQL версии 13 в переменную окружения:

      export POSTGRESQL_CLUSTER_ID=<идентификатор_кластера>
      

      Идентификатор можно запросить вместе со списком кластеров в каталоге.

   7. Импортируйте настройки кластера PostgreSQL версии 13 в конфигурацию Terraform:

      terraform import yandex_mdb_postgresql_cluster.old ${POSTGRESQL_CLUSTER_ID}
      

   8. Получите импортированную конфигурацию:

      terraform show
      

   9. Скопируйте ее из терминала и вставьте в файл с расширением .tf.

   10. Расположите файл в новой директории imported-cluster.

   11. Измените скопированную конфигурацию так, чтобы из нее можно было создать новый кластер:

       • Укажите новое имя кластера в строке resource и параметре name.
       • В блоке config укажите в параметре version версию 17.
       • Удалите параметры created_at, health, id и status.
       • В блоках host удалите параметры fqdn, role и priority.
       • Если в блоке disk_size_autoscaling указано значение параметра disk_size_limit = 0, удалите этот блок.
       • Если в блоке maintenance_window указано значение параметра type = "ANYTIME", удалите параметр hour.
       • (Опционально) Внесите дополнительные изменения, если вам нужна не идентичная, а кастомизированная копия кластера.

   12. Добавьте в файл ресурс для создания пользователя user1:

       resource "yandex_mdb_postgresql_user" "user1" {
         cluster_id = yandex_mdb_postgresql_cluster.<имя_кластера>.id
         name       = "user1"
         password   = "<пароль_пользователя>"
       }
       

       Где <имя_кластера> — новое имя кластера, указанное в ресурсе yandex_mdb_postgresql_cluster.

   13. Добавьте в файл ресурс для создания базы данных:

       resource "yandex_mdb_postgresql_database" "db1" {
         cluster_id = yandex_mdb_postgresql_cluster.<имя_кластера>.id
         name       = "db1"
         owner      = yandex_mdb_postgresql_user.user1.name
         depends_on = [yandex_mdb_postgresql_user.user1]
       }
       

       Где <имя_кластера> — новое имя кластера, указанное в ресурсе yandex_mdb_postgresql_cluster.

   14. В директории imported-cluster получите данные для аутентификации.

   15. В этой же директории настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

   16. Поместите конфигурационный файл в директорию imported-cluster и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

   17. Проверьте корректность файлов конфигурации Terraform:

       terraform validate
       

       Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   18. Создайте необходимую инфраструктуру:

       1. Выполните команду для просмотра планируемых изменений:

          terraform plan
          

          Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

       2. Если вас устраивают планируемые изменения, внесите их:

          1. Выполните команду:

             terraform apply
             

          2. Подтвердите изменение ресурсов.

          3. Дождитесь завершения операции.

       В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

   Ограничения по времени

   Провайдер Terraform ограничивает время на выполнение операций с кластером Managed Service for PostgreSQL:

   • создание, в том числе путем восстановления из резервной копии, — 30 минут;
   • изменение — 60 минут;
   • удаление — 15 минут.

   Операции, длящиеся дольше указанного времени, прерываются.

   Как изменить эти ограничения?

   Добавьте к описанию кластера блок timeouts, например:

   resource "yandex_mdb_postgresql_cluster" "<имя_кластера>" {
     ...
     timeouts {
       create = "1h30m" # Полтора часа
       update = "2h"    # 2 часа
       delete = "30m"   # 30 минут
     }
   }
   

2. Если вы используете группы безопасности в кластере, убедитесь, что они настроены правильно и допускают подключение к нему.

3. Подготовьте базу-приемник к миграции в соответствии с рекомендациями.

Подготовьте и активируйте трансферыПодготовьте и активируйте трансферы

Переключитесь на работу с новым кластеромПереключитесь на работу с новым кластером

1. Дождитесь перехода трансферов в статус Реплицируется.

2. Снимите пишущую нагрузку с кластера-источника.

3. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum data transfer delay для каждого трансфера. Это значит, что в кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

4. Переключите нагрузку на кластер-приемник.

5. Деактивируйте трансферы и дождитесь их перехода в статус Остановлен.

   Во время деактивации выполняется создание внешних ключей и индексов. Это может занять продолжительное время. Чем больший объем занимает база данных, тем больше времени занимает деактивация.

Проверьте перенос данныхПроверьте перенос данных

1. Подключитесь к базе данных db1 в кластере-приемнике Managed Service for PostgreSQL.

2. Убедитесь, что в базе данных db1 появились таблицы, выполнив запрос:

   SELECT schemaname AS schema, tablename AS table_name
   FROM pg_tables
   WHERE schemaname NOT IN ('pg_catalog', 'information_schema') 
     AND tablename NOT LIKE 'pg\_%'
   ORDER BY schemaname, tablename;
   

   Запрос выведет список всех несистемных таблиц.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, чтобы не платить за них: