Загрузка данных Greenplum® в витрину PostgreSQL

Вы можете перенести базу данных из Greenplum® в кластер PostgreSQL с помощью сервиса Yandex Data Transfer.

Чтобы перенести базу данных из Greenplum® в PostgreSQL:

1. Подготовьте трансфер.
2. Активируйте трансфер.
3. Проверьте работу копирования при повторной активации.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for Greenplum®: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы Managed Service for Greenplum®).
• Плата за кластер Managed Service for PostgreSQL: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы Managed Service for PostgreSQL).
• Плата за использование публичных IP-адресов для хостов кластеров (см. тарифы Virtual Private Cloud).
• Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работыПеред началом работы

Для примера все нужные ресурсы будут созданы в Yandex Cloud. Подготовьте инфраструктуру:

Подготовьте трансферПодготовьте трансфер

1. Создайте эндпоинт-источник типа Greenplum® и укажите в нем параметры подключения к кластеру:

   • Тип подключения — Кластер Managed Service for Greenplum.
   • Кластер Managed Service for Greenplum — <имя_кластера-источника_Greenplum®> из выпадающего списка.
   • База данных — postgres.
   • Пользователь — gp-user.
   • Пароль — <пароль_пользователя>.
   • Схема служебных объектов — public.

2. Создайте эндпоинт-приемник и трансфер:

   Вручную

   Terraform

   1. Создайте эндпоинт-приемник типа PostgreSQL и укажите в нем параметры подключения к кластеру:

      • Тип инсталляции — Кластер Managed Service for PostgreSQL.
      • Кластер Managed Service for PostgreSQL — <имя_кластера-приемника_PostgreSQL> из выпадающего списка.
      • База данных — db1.
      • Пользователь — pg-user.
      • Пароль — <пароль_пользователя>.

   2. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

      Для этой пары эндпоинтов репликация недоступна, но вы можете настроить регулярное копирование при создании трансфера. Для этого в блоке Параметры трансфера в поле Копирование выберите Регулярно, затем укажите интервал копирования. Трансфер будет автоматически активироваться через указанный промежуток времени.

      Важно

      Перед настройкой регулярного копирования убедитесь, что в параметрах эндпоинта-приемника указана политика очистки DROP или TRUNCATE. Иначе данные на приемнике будут дублироваться при копировании.

   1. Укажите в файле greenplum-postgresql.tf переменные:

      • gp_source_endpoint_id — значение идентификатора эндпоинта для источника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

Активируйте трансферАктивируйте трансфер

1. Подключитесь к кластеру Managed Service for Greenplum®, создайте в нем таблицу x_tab и заполните ее данными:

   CREATE TABLE x_tab
   (
       id NUMERIC,
       name CHARACTER(5)
   );
   CREATE INDEX ON x_tab (id);
   INSERT INTO x_tab (id, name) VALUES
   (40, 'User1'),
   (41, 'User2'),
   (42, 'User3'),
   (43, 'User4'),
   (44, 'User5');
   

2. Активируйте трансфер и дождитесь его перехода в статус Завершен.

3. Чтобы проверить корректность переноса данных, подключитесь к кластеру-приемнику Managed Service for PostgreSQL и убедитесь, что колонки в таблице x_tab в базе db1 совпадают с колонками таблицы x_tab в базе источника:

   SELECT id, name FROM db1.public.x_tab;
   

   ┌─id─┬─name──┐
   │ 40 │ User1 │
   │ 41 │ User2 │
   │ 42 │ User3 │
   │ 43 │ User4 │
   │ 44 │ User5 │
   └────┴───────┘
   

Проверьте работу копирования при повторной активацииПроверьте работу копирования при повторной активации

1. В параметрах эндпоинта-приемника установите политику очистки DROP или TRUNCATE.

2. Подключитесь к кластеру Managed Service for Greenplum®.

3. Удалите строку с идентификатором 41 и измените строку с идентификатором 42 в таблице x_tab:

   DELETE FROM x_tab WHERE id = 41;
   UPDATE x_tab SET name = 'Key3' WHERE id = 42;
   

4. Повторно активируйте трансфер и дождитесь его перехода в статус Завершен.

5. Убедитесь, что в таблице x_tab на приемнике PostgreSQL отобразились изменения:

   SELECT id, name FROM db1.public.x_tab;
   

   ┌─id─┬─name──┐
   │ 42 │ Key3  │
   │ 40 │ User1 │
   │ 43 │ User4 │
   │ 44 │ User5 │
   └────┴───────┘
   

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

• Убедитесь, что трансфер находится в статусе Завершен и удалите его.

• Удалите эндпоинт-источник и эндпоинт-приемник.

• Удалите кластеры:

  Вручную

  Terraform

  • Managed Service for PostgreSQL.
  • Managed Service for Greenplum®.

  1. В терминале перейдите в директорию с планом инфраструктуры.

     Важно

     Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

  2. Удалите ресурсы:

     1. Выполните команду:

        terraform destroy
        

     2. Подтвердите удаление ресурсов и дождитесь завершения операции.

     Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.