Загрузка данных Greenplum® в витрину PostgreSQL

Вы можете перенести базу данных из Greenplum® в кластер PostgreSQL с помощью сервиса Yandex Data Transfer.

Чтобы перенести базу данных из Greenplum® в PostgreSQL:

1. Подготовьте трансфер.
2. Активируйте трансфер.
3. Проверьте работу копирования при повторной активации.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Для примера все нужные ресурсы будут созданы в Yandex Cloud. Подготовьте инфраструктуру:

Подготовьте трансферПодготовьте трансфер

1. Создайте эндпоинт-источник типа Greenplum® и укажите в нем параметры подключения к кластеру:

   • Тип подключения — Кластер Managed Service for Greenplum.
   • Кластер Managed Service for Greenplum — <имя_кластера-источника_Greenplum®> из выпадающего списка.
   • База данных — postgres.
   • Пользователь — gp-user.
   • Пароль — <пароль_пользователя>.
   • Схема служебных объектов — public.

2. Создайте эндпоинт-приемник и трансфер:

   Вручную

   Terraform

   1. Создайте эндпоинт-приемник типа PostgreSQL и укажите в нем параметры подключения к кластеру:

      • Тип инсталляции — Кластер Managed Service for PostgreSQL.
      • Кластер Managed Service for PostgreSQL — <имя_кластера-приемника_PostgreSQL> из выпадающего списка.
      • База данных — db1.
      • Пользователь — pg-user.
      • Пароль — <пароль_пользователя>.

   2. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

      Для этой пары эндпоинтов репликация недоступна, но вы можете настроить регулярное копирование при создании трансфера. Для этого в блоке Параметры трансфера в поле Копирование выберите Регулярно, затем укажите интервал копирования. Трансфер будет автоматически активироваться через указанный промежуток времени.

      Важно

      Перед настройкой регулярного копирования убедитесь, что в параметрах эндпоинта-приемника указана политика очистки DROP или TRUNCATE. Иначе данные на приемнике будут дублироваться при копировании.

   1. Укажите в файле greenplum-postgresql.tf переменные:

      • gp_source_endpoint_id — значение идентификатора эндпоинта для источника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

Активируйте трансферАктивируйте трансфер

1. Подключитесь к кластеру Managed Service for Greenplum®, создайте в нем таблицу x_tab и заполните ее данными:

   CREATE TABLE x_tab
   (
       id NUMERIC,
       name CHARACTER(5)
   );
   CREATE INDEX ON x_tab (id);
   INSERT INTO x_tab (id, name) VALUES
   (40, 'User1'),
   (41, 'User2'),
   (42, 'User3'),
   (43, 'User4'),
   (44, 'User5');
   

2. Активируйте трансфер и дождитесь его перехода в статус Завершен.

3. Чтобы проверить корректность переноса данных, подключитесь к кластеру-приемнику Managed Service for PostgreSQL и убедитесь, что колонки в таблице x_tab в базе db1 совпадают с колонками таблицы x_tab в базе источника:

   SELECT id, name FROM db1.public.x_tab;
   

   ┌─id─┬─name──┐
   │ 40 │ User1 │
   │ 41 │ User2 │
   │ 42 │ User3 │
   │ 43 │ User4 │
   │ 44 │ User5 │
   └────┴───────┘
   

Проверьте работу копирования при повторной активацииПроверьте работу копирования при повторной активации

1. В параметрах эндпоинта-приемника установите политику очистки DROP или TRUNCATE.

2. Подключитесь к кластеру Managed Service for Greenplum®.

3. Удалите строку с идентификатором 41 и измените строку с идентификатором 42 в таблице x_tab:

   DELETE FROM x_tab WHERE id = 41;
   UPDATE x_tab SET name = 'Key3' WHERE id = 42;
   

4. Повторно активируйте трансфер и дождитесь его перехода в статус Завершен.

5. Убедитесь, что в таблице x_tab на приемнике PostgreSQL отобразились изменения:

   SELECT id, name FROM db1.public.x_tab;
   

   ┌─id─┬─name──┐
   │ 42 │ Key3  │
   │ 40 │ User1 │
   │ 43 │ User4 │
   │ 44 │ User5 │
   └────┴───────┘
   

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

• Убедитесь, что трансфер находится в статусе Завершен и удалите его.

• Удалите эндпоинт-источник и эндпоинт-приемник.

• Удалите кластеры:

  Вручную

  Terraform

  • Managed Service for PostgreSQL.
  • Managed Service for Greenplum®.

  Если вы создали ресурсы с помощью Terraform:

  1. В терминале перейдите в директорию с планом инфраструктуры.

  2. Удалите конфигурационный файл greenplum-postgresql.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

     terraform validate
     

     Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

     1. Выполните команду для просмотра планируемых изменений:

        terraform plan
        

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

     2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

           terraform apply
           

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

     Все ресурсы, которые были описаны в конфигурационном файле greenplum-postgresql.tf, будут удалены.