Копирование данных из Managed Service for OpenSearch в Managed Service for ClickHouse® с помощью Yandex Data Transfer
С помощью сервиса Data Transfer вы можете перенести данные из кластера-источника Managed Service for OpenSearch в Managed Service for ClickHouse®.
Чтобы перенести данные:
- Подготовьте кластер-источник.
- Подготовьте и активируйте трансфер.
- Проверьте работоспособность трансфера.
Если созданные ресурсы вам больше не нужны, удалите их.
Перед началом работы
Подготовьте инфраструктуру поставки данных:
-
Создайте кластер-источник Managed Service for OpenSearch любой подходящей конфигурации с хостами в публичном доступе.
-
В той же зоне доступности создайте кластер-приемник Managed Service for ClickHouse® любой подходящей конфигурации, с хостами в публичном доступе.
Если вы планируете подключаться к кластеру через сервис Yandex WebSQL, включите в настройках кластера настройку Доступ из WebSQL.
-
Получите SSL-сертификат для подключения к кластеру Managed Service for OpenSearch.
-
Убедитесь, что группы безопасности кластеров Managed Service for OpenSearch и Managed Service for ClickHouse® разрешают подключение через интернет.
-
Если у вас еще нет Terraform, установите его.
-
Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.
-
Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его
. -
Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.
-
Скачайте в ту же рабочую директорию файл конфигурации opensearch-to-clickhouse.tf
.В этом файле описаны:
- сеть;
- подсеть;
- группа безопасности и правила, необходимые для подключения к кластерам Managed Service for OpenSearch и Managed Service for ClickHouse®;
- кластер-источник Managed Service for OpenSearch с пользователем
admin
; - кластер-приемник Managed Service for ClickHouse® с пользователем и базой данных;
- эндпоинт-приемник;
- трансфер.
-
Укажите в файле
opensearch-to-clickhouse.tf
значения параметров:-
source_admin_password
— пароль пользователяadmin
в кластере Managed Service for OpenSearch; -
mos_version
— версия OpenSearch; -
mch_db_name
— название базы данных в кластере Managed Service for ClickHouse®; -
mch_username
— имя пользователя в кластере Managed Service for ClickHouse®; -
mch_user_password
— пароль пользователя в кластере Managed Service for ClickHouse®; -
source_endpoint_id
— идентификатор эндпоинта-источника; -
profile_name
— имя вашего профиля в YC CLI.Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
-
-
Проверьте корректность файлов конфигурации Terraform с помощью команды:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
Создайте необходимую инфраструктуру:
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления
. -
Подготовьте тестовые данные
-
В кластере-источнике создайте тестовый индекс
people
и задайте его схему:curl --cacert ~/.opensearch/root.crt \ --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \ --header 'Content-Type: application/json' \ --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people' && \ curl --cacert ~/.opensearch/root.crt \ --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \ --header 'Content-Type: application/json' \ --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_mapping?pretty' \ --data' { "properties": { "name": {"type": "text"}, "age": {"type": "integer"} } } '
-
Наполните тестовый индекс данными:
curl --cacert ~/.opensearch/root.crt \ --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \ --header 'Content-Type: application/json' \ --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \ --data' { "name": "Alice", "age": "30" } ' && \ curl --cacert ~/.opensearch/root.crt \ --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \ --header 'Content-Type: application/json' \ --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \ --data' { "name": "Robert", "age": "32" } '
-
(Опционально) Проверьте данные в тестовом индексе:
curl --cacert ~/.opensearch/root.crt \ --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \ --header 'Content-Type: application/json' \ --request GET 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_search?pretty'
Подготовьте и активируйте трансфер
-
Создайте эндпоинт-источник для созданного ранее кластера Managed Service for OpenSearch с настройками:
- Тип базы данных —
OpenSearch
. - Настройки подключения:
- Тип подключения —
Кластер Managed Service for OpenSearch
. - Кластер Managed Service for OpenSearch — выберите кластер Managed Service for OpenSearch из списка.
- Пользователь —
admin
. - Пароль — пароль пользователя
admin
.
- Тип подключения —
- Тип базы данных —
-
Создайте эндпоинт-приемник и трансфер:
ВручнуюTerraform-
- Тип базы данных —
ClickHouse
. - Параметры эндпоинта:
- Тип подключения — выберите
Кластер Managed Service for ClickHouse
. - Managed кластер — выберите кластер Managed Service for ClickHouse® из списка.
- Пользователь — введите имя пользователя в кластере Managed Service for ClickHouse®.
- Пароль — введите пароль пользователя в кластере Managed Service for ClickHouse®.
- База данных — введите название БД в кластере Managed Service for ClickHouse®.
- Тип подключения — выберите
- Тип базы данных —
-
Создайте трансфер типа Копирование, использующий созданные эндпоинты.
-
Активируйте трансфер.
-
Укажите в файле
opensearch-to-clickhouse.tf
значения параметра:source_endpoint_id
— значение идентификатора эндпоинта для источника;transfer_enabled
— значение1
для создания эндпоинта-приемника и трансфера.
-
Проверьте корректность файлов конфигурации Terraform с помощью команды:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
Создайте необходимую инфраструктуру:
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
Трансфер активируется автоматически после создания.
-
-
Проверьте работоспособность трансфера
-
Дождитесь перехода трансфера в статус Завершен.
-
Убедитесь, что в базу данных Managed Service for ClickHouse® перенеслись данные из кластера-источника Managed Service for OpenSearch:
Yandex WebSQLCLI-
Создайте подключение к БД в кластере Managed Service for ClickHouse®.
-
Проверьте, что БД содержит таблицу
people
с тестовыми данными. Для этого через созданное подключение выполните запрос к БД:SELECT * FROM people;
-
Получите SSL-сертификат для подключения к кластеру Managed Service for ClickHouse®.
-
Если у вас нет
clickhouse-client
, установите его. -
Подключитесь к БД в кластере Managed Service for ClickHouse®.
-
Проверьте, что БД содержит таблицу
people
с тестовыми данными:SELECT * FROM people;
-
Удалите созданные ресурсы
Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:
-
Удалите эндпоинт для источника.
-
Удалите остальные ресурсы в зависимости от способа их создания:
ВручнуюTerraform-
Удалите эндпоинт для приемника.
-
Удалите кластер Managed Service for ClickHouse®.
В сервисе Yandex WebSQL подключение к БД в кластере Managed Service for ClickHouse® удалится автоматически.
-
В терминале перейдите в рабочую директорию с конфигурационным файлом
opensearch-to-clickhouse.tf
. -
Удалите ресурсы с помощью команды:
terraform destroy
-
Введите слово
yes
и нажмите Enter.Все ресурсы, которые были описаны в конфигурационном файле
opensearch-to-clickhouse.tf
, будут удалены.
ClickHouse® является зарегистрированным товарным знаком ClickHouse, Inc