Миграция данных в Yandex Managed Service for ClickHouse® при помощи Yandex Data Transfer

С помощью сервиса Data Transfer вы можете перенести вашу базу данных из стороннего кластера-источника ClickHouse® в кластер-приемник Managed Service for ClickHouse®.

Этот способ позволяет:

• скопировать базу без остановки обслуживания пользователей;
• обойтись без создания промежуточной виртуальной машины или разрешения доступа к вашему кластеру-приемнику Managed Service for ClickHouse® из интернета.

Вы также можете использовать этот способ для переноса данных между двумя кластерами Managed Service for ClickHouse®. Для успешного переноса в эндпоинте-источнике укажите порты 8443 и 9440, а также добавьте SSL-сертификат.

Подробнее см. в разделе Какие задачи решает сервис Yandex Data Transfer.

Перед началом работыПеред началом работы

Разрешите подключение к кластеру-источнику из интернета.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for ClickHouse®: использование вычислительных ресурсов, выделенных хостам (в том числе хостам ZooKeeper), и дискового пространства (см. тарифы Managed Service for ClickHouse®).
• Плата за использование публичных IP-адресов, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).
• Плата за трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перенос данныхПеренос данных

1. Подготовьте кластер-источник.

2. Подготовьте инфраструктуру:

   Вручную

   С помощью Terraform

   1. Создайте группу безопасности и настройте ее.

   2. Создайте кластер-приемник Managed Service for ClickHouse®, вычислительная мощность и размер хранилища которого соответствуют среде, в которой развернута копируемая база данных.

      При создании кластера укажите группу безопасности, подготовленную ранее.

      Имя базы в кластере-приемнике должно совпадать с именем базы-источника.

      Если вы планируете подключаться к кластеру через сервис Yandex WebSQL, включите в настройках кластера настройку Доступ из WebSQL.

   3. Создайте эндпоинт для источника:

      • Тип базы данных — ClickHouse.

      • Параметры эндпоинта → Настройки подключения — Пользовательская инсталляция.

        Укажите параметры подключения к кластеру-источнику.

   4. Создайте эндпоинт для приемника:

      • Тип базы данных — ClickHouse.

      • Параметры эндпоинта → Настройки подключения — Managed кластер.

        Выберите кластер-приемник из списка и укажите настройки подключения к нему.

   5. Создайте трансфер типа Копирование, использующий созданные эндпоинты, и активируйте его.

   1. Если у вас еще нет Terraform, установите его.

   2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

   3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

   4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

   5. Скачайте в ту же рабочую директорию файл конфигурации data-transfer-ch-mch.tf.

      В этом файле описаны:

      • сеть;
      • подсеть;
      • группа безопасности и правило, необходимое для подключения к кластеру;
      • кластер-приемник Managed Service for ClickHouse®;
      • эндпоинт для источника;
      • эндпоинт для приемника;
      • трансфер.

   6. Укажите в файле data-transfer-ch-mch.tf:

      • параметры эндпоинта-источника:

        • source_user и source_pwd — имя и пароль пользователя для доступа к источнику;
        • source_db_name — имя базы данных;
        • source_host — FQDN или IP-адрес сервера ClickHouse®;
        • source_shard — имя шарда;
        • source_http_port и source_native_port — порты для подключения по HTTP-интерфейсу и нативному интерфейсу ClickHouse®.

      • параметры кластера-приемника, которые используются и как параметры эндпоинта-приемника:

        • target_clickhouse_version — версия ClickHouse®;
        • target_user и target_password — имя и пароль пользователя-владельца базы данных.

      • параметры CLI Yandex Cloud, чтобы активировать кластер автоматически:

        • profile_name — имя вашего профиля в CLI Yandex Cloud.

          Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

   7. (Опционально) Если вы планируете подключаться к кластеру через сервис Yandex WebSQL, добавьте к ресурсу кластера блок access:

      access {
          web_sql = true
      }
      

   8. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   9. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Завершен.

2. Убедитесь, что в базу данных Managed Service for ClickHouse® перенеслись данные из кластера-источника ClickHouse®:

   Yandex WebSQL

   CLI

   1. Создайте подключение к БД в кластере Managed Service for ClickHouse®.

   2. Проверьте, что БД содержит таблицы из кластера-источника. Для этого через созданное подключение выполните запрос к БД:

      SHOW TABLES FROM <имя_базы_данных>;
      

   3. Проверьте, что таблицы содержат данные из таблиц кластера-источника. Для этого через созданное подключение выполните запрос к нужной таблице:

      SELECT * FROM <имя_базы_данных>.<имя_таблицы>;
      

   1. Получите SSL-сертификат для подключения к кластеру Managed Service for ClickHouse®.

   2. Подключитесь к БД в кластере Managed Service for ClickHouse® с помощью clickhouse-client.

   3. Проверьте, что БД содержит таблицы из кластера-источника:

      SHOW TABLES FROM <имя_базы_данных>;
      

   4. Проверьте, что таблицы содержат данные из таблиц кластера-источника:

      SELECT * FROM <имя_базы_данных>.<имя_таблицы>;
      

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать: