Загрузка данных из Greenplum® в витрину ClickHouse®

Вы можете перенести базу данных из Greenplum® в ClickHouse® с помощью сервиса Yandex Data Transfer.

Чтобы перенести базу данных из Greenplum® в ClickHouse®:

1. Подготовьте трансфер.
2. Активируйте трансфер.
3. Проверьте работу копирования при повторной активации.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Для примера все нужные ресурсы будут созданы в Yandex Cloud. Подготовьте инфраструктуру:

Подготовьте трансферПодготовьте трансфер

1. Создайте эндпоинт-источник типа Greenplum® и укажите в нем параметры подключения к кластеру.

2. Создайте эндпоинт-приемник типа ClickHouse.

3. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   Для этой пары эндпоинтов репликация недоступна, но вы можете настроить регулярное копирование при создании трансфера. Для этого в блоке Параметры трансфера в поле Копирование выберите Регулярно, затем укажите интервал копирования. Трансфер будет автоматически активироваться через указанный промежуток времени.

   Важно

   Перед настройкой регулярного копирования убедитесь, что в параметрах эндпоинта-приемника указана политика очистки Drop или Truncate. Иначе данные на приемнике будут дублироваться при копировании.

Активируйте трансферАктивируйте трансфер

1. Подключитесь к кластеру Managed Service for Greenplum®, создайте в нем таблицу x_tab и заполните ее данными:

   CREATE TABLE x_tab
   (
       id NUMERIC,
       name CHARACTER(5)
   );
   CREATE INDEX ON x_tab (id);
   INSERT INTO x_tab (id, name) VALUES
   (40, 'User1'),
   (41, 'User2'),
   (42, 'User3'),
   (43, 'User4'),
   (44, 'User5');
   

2. Активируйте трансфер и дождитесь его перехода в статус Завершен.

3. Чтобы проверить корректность переноса данных, подключитесь к кластеру-приемнику Managed Service for ClickHouse® и убедитесь, что колонки в таблице x_tab в базе db1 совпадают с колонками таблицы x_tab в базе источника:

   SELECT id, name FROM db1.x_tab;
   

   ┌─id─┬─name──┐
   │ 40 │ User1 │
   │ 41 │ User2 │
   │ 42 │ User3 │
   │ 43 │ User4 │
   │ 44 │ User5 │
   └────┴───────┘
   

Проверьте работу копирования при повторной активацииПроверьте работу копирования при повторной активации

1. Подключитесь к кластеру Managed Service for Greenplum®, удалите одну строку и измените другую в таблице x_tab:

   DELETE FROM x_tab WHERE id = 41;
   UPDATE x_tab SET name = 'Key3' WHERE id = 42;
   

2. Повторно активируйте трансфер и дождитесь его перехода в статус Завершен.

3. Убедитесь, что в таблице x_tab на приемнике ClickHouse® отобразились изменения:

   SELECT id, name FROM db1.x_tab;
   

   ┌─id─┬─name──┐
   │ 42 │ Key3  │
   │ 40 │ User1 │
   │ 43 │ User4 │
   │ 44 │ User5 │
   └────┴───────┘
   

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

• Убедитесь, что трансфер находится в статусе Завершен и удалите его.

• Удалите эндпоинт-источник и эндпоинт-приемник.

• Удалите кластеры:

  Вручную

  Terraform

  • Managed Service for ClickHouse®.
  • Managed Service for Greenplum®.

  1. В терминале перейдите в директорию с планом инфраструктуры.

     Важно

     Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

  2. Удалите ресурсы:

     1. Выполните команду:

        terraform destroy
        

     2. Подтвердите удаление ресурсов и дождитесь завершения операции.

     Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Дополнительные материалыДополнительные материалы

Больше информации о сценариях поставок данных в вебинаре Yandex Cloud:

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.