Перешардирование данных в кластере Managed Service for ClickHouse®

С помощью сервиса Data Transfer вы можете перенести вашу базу данных из шардированного кластера-источника Managed Service for ClickHouse® в кластер-приемник Managed Service for ClickHouse® с другой конфигурацией шардов.

Этот способ позволяет перераспределить данные шардированных таблиц по новой конфигурации шардов кластера ClickHouse®.

Необходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for ClickHouse®: использование вычислительных ресурсов, выделенных хостам (в том числе хостам ZooKeeper), и дискового пространства (см. тарифы Managed Service for ClickHouse®).
• Плата за использование публичных IP-адресов, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).
• Плата за трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перенесите данные с перераспределением по шардам

1. Подготовьте кластер-источник.

2. Подготовьте инфраструктуру:

   Вручную

   Terraform

   1. Создайте кластер-приемник Managed Service for ClickHouse®, вычислительная мощность и размер хранилища которого соответствуют среде, в которой развернута копируемая база данных.

      Имя базы в кластере-приемнике должно совпадать с именем базы-источника.

   2. Добавьте нужное количество шардов в кластер-приемник Managed Service for ClickHouse®.

   3. Подготовьте кластер-приемник.

   4. Создайте эндпоинт для источника:

      • Тип базы данных — ClickHouse.

      • Параметры эндпоинта → Настройки подключения — Кластер Managed Service for ClickHouse.

        Выберите кластер-источник из списка и укажите настройки подключения к нему.

   5. Создайте эндпоинт для приемника:

      • Тип базы данных — ClickHouse.

      • Параметры эндпоинта → Настройки подключения — Managed кластер.

        Выберите кластер-приемник из списка и укажите настройки подключения к нему.

      • Параметры эндпоинта → Настройки шардирования → Шардирование — Равномерное случайное шардирование.

   6. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   7. Активируйте его.

   1. Если у вас еще нет Terraform, установите его.

   2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

   3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

   4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

   5. Скачайте в ту же рабочую директорию файл конфигурации data-transfer-mch-mch-resharding.tf.

      В этом файле описаны:

      • сеть;
      • подсеть;
      • группа безопасности и правило, необходимое для подключения к кластеру;
      • кластер-приемник Managed Service for ClickHouse® с заданным количеством шардов;
      • эндпоинт для источника;
      • эндпоинт для приемника;
      • трансфер.

   6. Укажите в файле data-transfer-mch-mch-resharding.tf:

      • параметры эндпоинта-источника:

        • source_cluster — идентификатор кластера-источника Managed Service for ClickHouse®;
        • source_user и source_pwd — имя и пароль пользователя для доступа к источнику;
        • source_db_name — имя базы данных.

      • параметры кластера-приемника, которые используются и как параметры эндпоинта-приемника:

        • target_clickhouse_version — версия ClickHouse®;
        • target_user и target_password — имя и пароль пользователя-владельца базы данных.

   7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   8. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

      Трансфер активируется автоматически после создания.

3. Дождитесь перехода трансфера в статус Завершен.

   Подробнее о статусах трансфера см. в разделе Жизненный цикл трансфера.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.