Копирование данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer

С помощью сервиса Data Transfer вы можете перенести данные из кластера-источника Managed Service for OpenSearch в Managed Service for ClickHouse®.

Чтобы перенести данные:

1. Подготовьте кластер-источник.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Подготовьте инфраструктуру поставки данных:

Подготовьте тестовые данныеПодготовьте тестовые данные

1. В кластере-источнике создайте тестовый индекс people и задайте его схему:

   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
        --header 'Content-Type: application/json' \
        --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people' && \
   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
        --header 'Content-Type: application/json' \
        --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_mapping?pretty' \
        --data'
        {
              "properties": {
                 "name": {"type": "text"},
                 "age": {"type": "integer"}
              }
        }
        '
   

2. Наполните тестовый индекс данными:

   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
        --header 'Content-Type: application/json' \
        --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \
        --data'
        {
              "name": "Alice",
              "age": "30"
        }
        ' && \
   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
        --header 'Content-Type: application/json' \
        --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \
        --data'
        {
              "name": "Robert",
              "age": "32"
        }
        '
   

3. (Опционально) Проверьте данные в тестовом индексе:

   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \
        --header 'Content-Type: application/json' \
        --request GET 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_search?pretty'
   

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт-источник для созданного ранее кластера Managed Service for OpenSearch с настройками:

   • Тип базы данных — OpenSearch.
   • Настройки подключения:
     • Тип подключения — Кластер Managed Service for OpenSearch.
     • Кластер Managed Service for OpenSearch — выберите кластер Managed Service for OpenSearch из списка.
     • Пользователь — admin.
     • Пароль — пароль пользователя admin.

2. Создайте эндпоинт-приемник и трансфер:

   Вручную

   Terraform

   1. Создайте эндпоинт-приемник:

      • Тип базы данных — ClickHouse.
      • Параметры эндпоинта:
        • Тип подключения — выберите Кластер Managed Service for ClickHouse.
        • Managed кластер — выберите кластер Managed Service for ClickHouse® из списка.
        • Пользователь — введите имя пользователя в кластере Managed Service for ClickHouse®.
        • Пароль — введите пароль пользователя в кластере Managed Service for ClickHouse®.
        • База данных — введите название БД в кластере Managed Service for ClickHouse®.

   2. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   3. Активируйте трансфер.

   1. Укажите в файле opensearch-to-clickhouse.tf значения параметра:

      • source_endpoint_id — значение идентификатора эндпоинта для источника;
      • transfer_enabled — значение 1 для создания эндпоинта-приемника и трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Завершен.

2. Убедитесь, что в базу данных Managed Service for ClickHouse® перенеслись данные из кластера-источника Managed Service for OpenSearch:

   Yandex WebSQL

   CLI

   1. Создайте подключение к БД в кластере Managed Service for ClickHouse®.

   2. Проверьте, что БД содержит таблицу people с тестовыми данными. Для этого через созданное подключение выполните запрос к БД:

      SELECT * FROM people;
      

   1. Получите SSL-сертификат для подключения к кластеру Managed Service for ClickHouse®.

   2. Если у вас нет clickhouse-client, установите его.

   3. Подключитесь к БД в кластере Managed Service for ClickHouse®.

   4. Проверьте, что БД содержит таблицу people с тестовыми данными:

      SELECT * FROM people;
      

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите эндпоинт для источника.

2. Удалите остальные ресурсы в зависимости от способа их создания:

   Вручную

   Terraform

   1. Удалите трансфер.

   2. Удалите эндпоинт для приемника.

   3. Удалите кластер Managed Service for OpenSearch.

   4. Удалите кластер Managed Service for ClickHouse®.

      В сервисе Yandex WebSQL подключение к БД в кластере Managed Service for ClickHouse® удалится автоматически.

   5. Удалите подсеть.

   6. Удалите сеть.

   1. В терминале перейдите в рабочую директорию с конфигурационным файлом opensearch-to-clickhouse.tf.

   2. Удалите ресурсы с помощью команды:

      terraform destroy
      

   3. Введите слово yes и нажмите Enter.

      Все ресурсы, которые были описаны в конфигурационном файле opensearch-to-clickhouse.tf, будут удалены.

ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc.