Миграция кластера ClickHouse®

С помощью сервиса Data Transfer вы можете перенести вашу базу данных из стороннего кластера-источника ClickHouse® в кластер-приемник Managed Service for ClickHouse®.

Этот способ позволяет:

• скопировать базу без остановки обслуживания пользователей;
• обойтись без создания промежуточной виртуальной машины или разрешения доступа к вашему кластеру-приемнику Managed Service for ClickHouse® из интернета.

Подробнее см. в разделе Какие задачи решает сервис Yandex Data Transfer.

Перед началом работыПеред началом работы

Разрешите подключение к кластеру-источнику из интернета.

Перенос данныхПеренос данных

1. Подготовьте кластер-источник.

2. Подготовьте инфраструктуру:

   Вручную

   С помощью Terraform

   1. Создайте группу безопасности и настройте ее.

   2. Создайте кластер-приемник Managed Service for ClickHouse®, вычислительная мощность и размер хранилища которого соответствуют среде, в которой развернута копируемая база данных.

      При создании кластера укажите группу безопасности, подготовленную ранее.

      Имя базы в кластере-приемнике должно совпадать с именем базы-источника.

   3. Создайте эндпоинт для источника:

      • Тип базы данных — ClickHouse.

      • Параметры эндпоинта → Настройки подключения — Пользовательская инсталляция.

        Укажите параметры подключения к кластеру-источнику.

   4. Создайте эндпоинт для приемника:

      • Тип базы данных — ClickHouse.

      • Параметры эндпоинта → Настройки подключения — Managed кластер.

        Выберите кластер-приемник из списка и укажите настройки подключения к нему.

   5. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   6. Активируйте его.

   1. Если у вас еще нет Terraform, установите его.

   2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

   3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

   4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

   5. Скачайте в ту же рабочую директорию файл конфигурации data-transfer-ch-mch.tf.

      В этом файле описаны:

      • сеть;
      • подсеть;
      • группа безопасности и правило, необходимое для подключения к кластеру;
      • кластер-приемник Managed Service for ClickHouse®;
      • эндпоинт для источника;
      • эндпоинт для приемника;
      • трансфер.

   6. Укажите в файле data-transfer-ch-mch.tf:

      • параметры эндпоинта-источника:

        • source_user и source_pwd — имя и пароль пользователя для доступа к источнику;
        • source_db_name — имя базы данных;
        • source_host — FQDN или IP-адрес сервера ClickHouse®;
        • source_shard — имя шарда;
        • source_http_port и source_native_port — порты для подключения по HTTP-интерфейсу и нативному интерфейсу ClickHouse®.

      • параметры кластера-приемника, которые используются и как параметры эндпоинта-приемника:

        • target_clickhouse_version — версия ClickHouse®;
        • target_user и target_password — имя и пароль пользователя-владельца базы данных.

   7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   8. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

      Трансфер активируется автоматически после создания.

3. Дождитесь перехода трансфера в статус Завершен.

   Подробнее о статусах трансфера см. в разделе Жизненный цикл трансфера.

4. Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

   Вручную

   С помощью Terraform

   • Удалите кластер Managed Service for ClickHouse®.
   • Удалите завершившийся трансфер.
   • Удалите эндпоинты для источника и приемника.

   1. В терминале перейдите в директорию с планом инфраструктуры.

   2. Удалите конфигурационный файл data-transfer-ch-mch.tf.

   3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   4. Подтвердите изменение ресурсов.

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Все ресурсы, которые были описаны в конфигурационном файле data-transfer-ch-mch.tf, будут удалены.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.