Загрузка данных из Greenplum® в витрину ClickHouse®

Вы можете перенести базу данных из Greenplum® в ClickHouse® с помощью сервиса Yandex Data Transfer.

Чтобы перенести базу данных из Greenplum® в ClickHouse®:

1. Подготовьте трансфер.
2. Активируйте трансфер.
3. Проверьте работу копирования при повторной активации.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Для примера все нужные ресурсы будут созданы в Yandex Cloud. Подготовьте инфраструктуру:

Подготовьте трансферПодготовьте трансфер

1. Создайте эндпоинт-источник типа Greenplum® и укажите в нем параметры подключения к кластеру.

2. Создайте эндпоинт-приемник типа ClickHouse.

3. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   Для этой пары эндпоинтов репликация недоступна, но вы можете настроить регулярное копирование при создании трансфера. Для этого в блоке Параметры трансфера в поле Копирование выберите Регулярно, затем укажите интервал копирования. Трансфер будет автоматически активироваться через указанный промежуток времени.

   Важно

   Перед настройкой регулярного копирования убедитесь, что в параметрах эндпоинта-приемника указана политика очистки Drop или Truncate. Иначе данные на приемнике будут дублироваться при копировании.

Активируйте трансферАктивируйте трансфер

1. Подключитесь к кластеру Managed Service for Greenplum®, создайте в нем таблицу x_tab и заполните ее данными:

   CREATE TABLE x_tab
   (
       id NUMERIC,
       name CHARACTER(5)
   );
   CREATE INDEX ON x_tab (id);
   INSERT INTO x_tab (id, name) VALUES
   (40, 'User1'),
   (41, 'User2'),
   (42, 'User3'),
   (43, 'User4'),
   (44, 'User5');
   

2. Активируйте трансфер и дождитесь его перехода в статус Завершен.

3. Чтобы проверить корректность переноса данных, подключитесь к кластеру-приемнику Managed Service for ClickHouse® и убедитесь, что колонки в таблице x_tab в базе db1 совпадают с колонками таблицы x_tab в базе источника:

   SELECT id, name FROM db1.x_tab;
   

   ┌─id─┬─name──┐
   │ 40 │ User1 │
   │ 41 │ User2 │
   │ 42 │ User3 │
   │ 43 │ User4 │
   │ 44 │ User5 │
   └────┴───────┘
   

Проверьте работу копирования при повторной активацииПроверьте работу копирования при повторной активации

1. Подключитесь к кластеру Managed Service for Greenplum®, удалите одну строку и измените другую в таблице x_tab:

   DELETE FROM x_tab WHERE id = 41;
   UPDATE x_tab SET name = 'Key3' WHERE id = 42;
   

2. Повторно активируйте трансфер и дождитесь его перехода в статус Завершен.

3. Убедитесь, что в таблице x_tab на приемнике ClickHouse® отобразились изменения:

   SELECT id, name FROM db1.x_tab;
   

   ┌─id─┬─name──┐
   │ 42 │ Key3  │
   │ 40 │ User1 │
   │ 43 │ User4 │
   │ 44 │ User5 │
   └────┴───────┘
   

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

• Убедитесь, что трансфер находится в статусе Завершен и удалите его.

• Удалите эндпоинт-источник и эндпоинт-приемник.

• Удалите кластеры:

  Вручную

  Terraform

  • Managed Service for ClickHouse®.
  • Managed Service for Greenplum®.

  Если вы создали ресурсы с помощью Terraform:

  1. В терминале перейдите в директорию с планом инфраструктуры.

  2. Удалите конфигурационный файл greenplum-clickhouse.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

     terraform validate
     

     Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

     1. Выполните команду для просмотра планируемых изменений:

        terraform plan
        

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

     2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

           terraform apply
           

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

     Все ресурсы, которые были описаны в конфигурационном файле greenplum-clickhouse.tf, будут удалены.

Дополнительные материалыДополнительные материалы

Больше информации о сценариях поставок данных в вебинаре Yandex Cloud:

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.