Создание логической реплики Amazon RDS для PostgreSQL в Managed Service for PostgreSQL

Перенести базу данных из кластера-источника Amazon RDS для PostgreSQL в кластер-приемник Managed Service for PostgreSQL можно с помощью логической репликации.

Логическая репликация использует механизм подписки (subscription). Это позволяет перенести данные в кластер-приемник с минимальным временем простоя. Логическая репликация доступна в Amazon RDS для PostgreSQL версии 10.4 и выше.

Используйте логическую репликацию в том случае, если перенос данных с помощью Yandex Data Transfer по каким-либо причинам невозможен.

Чтобы перенести базу данных из кластера-источника Amazon RDS для PostgreSQL в кластер-приемник Managed Service for PostgreSQL:

1. Настройте Amazon RDS.
2. Настройте кластер-приемник и создайте подписку.
3. Перенесите последовательности.
4. Удалите подписку и переключите нагрузку на кластер-приемник.

Особенности использования логической репликацииОсобенности использования логической репликации

• Изменения схемы базы данных и DDL не реплицируются.

  В первую очередь применяйте новые изменения схемы на стороне подписчика (subscription), а потом — на стороне публикации (publication).

• Последовательности (SEQUENCES) не реплицируются.

  В составе таблицы реплицируются данные в столбцах serial или столбцах идентификации, которые генерируются последовательностями. Но сама последовательность на подписчике будет сохранять стартовое значение.

  В случае переключения на базу подписчика, необходимо обновить последовательность до последнего значения:

  ALTER SEQUENCE serial RESTART WITH <новое_значение>;
  

• По умолчанию при создании подписки происходит полное копирование данных из исходных таблиц.

  Для ускорения копирования создайте только первичный ключ (PRIMARY KEY), а после его завершения создайте все остальные индексы.

• Если в таблице отсутствует первичный ключ, во время репликации появятся ошибки:

  ERROR: 55000: cannot update table "<имя_таблицы>" because it does not have a replica identity and publishes updates
  HINT: To enable updating the table, set REPLICA IDENTITY using ALTER TABLE.
  

  Для работы репликации UPDATE и DELETE в таблицах без первичного ключа необходимо изменить REPLICA IDENTITY:

  ALTER TABLE <имя_таблицы> REPLICA IDENTITY FULL;
  

• В PostgreSQL версии 10 команда TRUNCATE не реплицируется.

  Вместо этого можно использовать DELETE.

• Внешние таблицы не реплицируются.

• Если потребуется пересоздать подписку, то для предотвращения ошибок ограничения первичного ключа очистите таблицы в кластере-приемнике.

• Ошибки, связанные с работой логической репликации, смотрите в логах Managed Service for PostgreSQL.

Перед началом работыПеред началом работы

Создайте необходимые ресурсы:

Настройте Amazon RDSНастройте Amazon RDS

1. Настройте логическую репликацию.

   1. Установите параметр в parameter group вашего экземпляра БД:

      rds.logical_replication = 1
      

   2. Перезапустите кластер для применения изменений.

2. Создайте отдельного пользователя с ролью rds_replication. Для этого выполните от имени пользователя с ролью rds_superuser:

   CREATE ROLE <имя_пользователя> WITH LOGIN PASSWORD <пароль>;
   GRANT rds_replication TO <имя_пользователя>;
   

3. Предоставьте привилегию SELECT на все таблицы, участвующие в репликации:

   GRANT SELECT ON <таблица_1>, <таблица_2>, ..., <таблица_n> TO <имя_пользователя>;
   

4. Создайте публикацию:

   CREATE PUBLICATION pub FOR TABLE <таблица_1>, <таблица_2>, ..., <таблица_n>;
   

   Примечание

   Не рекомендуется использовать публикации FOR ALL TABLES из-за невозможности отредактировать список таблиц в будущем.

5. Добавьте правило для входящего трафика в VPC security groups. Например:

   protocol: tcp, port: 5432, source: 84.201.175.90/32
   

   Где 84.201.175.90 — публичный IP-адрес.

Настройте кластер-приемник и создайте подпискуНастройте кластер-приемник и создайте подписку

В кластерах Managed Service for PostgreSQL подписки может использовать владелец базы данных (пользователь, созданный одновременно с кластером) и пользователи с ролью mdb_admin для этого кластера.

1. (Опционально) Назначьте пользователю кластера Managed Service for PostgreSQL роль mdb_admin.

2. Создайте подписку со строкой подключения к кластеру-источнику:

   CREATE SUBSCRIPTION s_data_migration CONNECTION 'host=<адрес_кластера-источника> port=<порт> user=<имя_пользователя> sslmode=prefer dbname=<имя_БД>' PUBLICATION pub;
   

   Подробнее о создании подписок см. в документации PostgreSQL.

3. Чтобы получить статус репликации, обратитесь к каталогам pg_subscription_rel.

   SELECT * FROM pg_subscription_rel;
   

   Значение r в поле srsubstate означает, что репликация завершилась.

Перенесите последовательностиПеренесите последовательности

Чтобы завершить синхронизацию кластера-источника и кластера-приемника:

1. Переведите кластер-источник в режим только чтение.

2. Создайте дамп с последовательностями:

   pg_dump --host=<адрес_кластера-источника> \
           --username=<имя_пользователя> \
           --port=<порт> \
           --dbname=<имя_БД> \
           --data-only \
           --table='*.*_seq' > /tmp/seq-data.sql
   

   Обратите внимание на используемый паттерн *.*_seq. Если в переносимой базе есть не соответствующие ему последовательности, то для их выгрузки укажите другой паттерн.

   Подробнее о паттернах см. в документации PostgreSQL.

3. Восстановите дамп с последовательностями в кластере-приемнике:

   psql \
       --host=<FQDN_хоста-мастера_кластера-приемника> \
       --username=<имя_пользователя> \
       --port=6432 \
       --dbname=<имя_БД> < /tmp/seq-data.sql
   

Удалите подписку и переключите нагрузку на кластер-приемникУдалите подписку и переключите нагрузку на кластер-приемник

1. Удалите подписку в кластере-приемнике:

   DROP SUBSCRIPTION s_data_migration;
   

2. Перенесите нагрузку на кластер-приемник.