Миграция кластера PostgreSQL

Чтобы перенести вашу базу данных в сервис Yandex Managed Service for PostgreSQL, нужно непосредственно перенести данные, закрыть старую базу данных на запись и переключить нагрузку на кластер БД в Yandex Cloud.

Миграция с помощью Data Transfer позволяет:

• обойтись без создания промежуточной виртуальной машины или разрешения доступа к вашему кластеру-приемнику Managed Service for PostgreSQL из интернета;
• минимизировать время недоступности базы данных при миграции;
• мигрировать со старых версий PostgreSQL на более новые.

Подробнее см. в разделе Какие задачи решает сервис Yandex Data Transfer.

Чтобы использовать этот способ миграции, разрешите подключение к кластеру-источнику из интернета.

Перенос данныхПеренос данных

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for PostgreSQL: использование хостов БД и дискового пространства (см. тарифы Managed Service for PostgreSQL).
• Плата за использование публичных IP-адресов, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).
• Плата за трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перенесите данныеПеренесите данные

1. Подготовьте кластер-источник.

2. Подготовьте инфраструктуру:

   Вручную

   Terraform

   1. Создайте кластер-приемник Managed Service for PostgreSQL любой подходящей конфигурации. При этом:

      • Версия PostgreSQL должна быть не ниже, чем в кластере-источнике. Миграция с понижением версии PostgreSQL невозможна.
      • При создании кластера укажите то же имя базы данных, что и в кластере-источнике.
      • Включите те же расширения PostgreSQL, что и в кластере-источнике.

   2. Подготовьте кластер-приемник.

   3. Создайте эндпоинт для источника со следующими параметрами:

      • Тип базы данных — PostgreSQL.
      • Параметры эндпоинта → Настройки подключения — Пользовательская инсталляция.

      Укажите параметры подключения к кластеру-источнику.

   4. Создайте эндпоинт для приемника со следующими параметрами:

      • Тип базы данных — PostgreSQL.
      • Параметры эндпоинта → Настройки подключения — Кластер Managed Service for PostgreSQL.

      Укажите идентификатор кластера-приемника.

   5. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

   6. Активируйте трансфер.

      Важно

      Избегайте любых изменений в схеме данных в кластере-источнике и кластере-приемнике во время работы трансфера. Подробнее см. в разделе Работа с базами данных во время трансфера.

   1. Если у вас еще нет Terraform, установите его.

   2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

   3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

   4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

   5. Скачайте в ту же рабочую директорию файл конфигурации data-transfer-pgsql-mpg.tf.

      В этом файле описаны:

      • сеть;
      • подсеть;
      • группа безопасности и правило, необходимое для подключения к кластеру;
      • кластер-приемник Managed Service for PostgreSQL;
      • эндпоинт для источника;
      • эндпоинт для приемника;
      • трансфер.

   6. Укажите в файле data-transfer-pgsql-mpg.tf:

      • параметры эндпоинта-источника;

      • pg-extensions – список расширений PostgreSQL в кластере-источнике;

      • параметры кластера-приемника, которые используются и как параметры эндпоинта-приемника:

        • target_pgsql_version — версия PostgreSQL, она должна быть не ниже, чем в кластере-источнике;
        • target_user и target_password — имя и пароль пользователя-владельца базы данных.

   7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   8. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

      Трансфер активируется автоматически после создания.

3. Дождитесь перехода трансфера в статус Реплицируется.

4. Переведите кластер-источник в режим только чтение.

5. На странице мониторинга трансфера дождитесь снижения до нуля характеристики Maximum data transfer delay. Это значит, что на кластер-приемник перенесены все изменения, произошедшие в кластере-источнике после завершения копирования данных.

6. Деактивируйте трансфер и дождитесь его перехода в статус Остановлен.

   Подробнее о статусах трансфера см. в разделе Жизненный цикл трансфера.

7. Переключите нагрузку на кластер-приемник.

8. Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

   Ресурсы созданы вручную

   Ресурсы созданы с помощью Terraform

   • Удалите кластер Managed Service for PostgreSQL.
   • Удалите остановленный трансфер.
   • Удалите эндпоинты для источника и приемника.

   1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

   2. Удалите ресурсы:

      1. Выполните команду:

         terraform destroy
         

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Перенос таблиц с типами данных из расширений PostgreSQLПеренос таблиц с типами данных из расширений PostgreSQL

Сервис Data Transfer поддерживает копирование таблиц, содержащих столбцы с типами данных, определенных в расширениях PostgreSQL, а также копирование таблиц с производными типами (массивами таких типов и композитными типами с полями таких типов). Однако на данный момент есть ограничение — тип данных должен реализовывать функции двоичного ввода и вывода. То есть, для типа данных в системной таблице pg_type значения в колонках typsend и typreceive должны быть отличны от нуля.

Например, для расширения PostGIS перенос колонок с типами GEOMETRY, GEOMETRY_DUMP и GEOGRAPHY поддержан, а перенос типов BOX2D и BOX3D на данный момент не поддержан.

См. такжеСм. также

Другие способы миграции описаны в документации Yandex Managed Service for PostgreSQL.