Миграция данных из Elasticsearch в Yandex Managed Service for OpenSearch
Вы можете настроить перенос данных из индексов Elasticsearch в индексы Managed Service for OpenSearch с помощью сервиса Data Transfer. Для этого:
- Настройте кластер-источник.
- Подготовьте тестовые данные.
- Настройте кластер-приемник.
- Подготовьте и активируйте трансфер.
- Проверьте работу трансфера.
Если созданные ресурсы вам больше не нужны, удалите их.
Перед началом работы
-
Подготовьте инфраструктуру:
-
Создайте кластер-приемник Managed Service for OpenSearch любой подходящей конфигурации с хостами в публичном доступе.
-
Установите утилиты:
Настройте кластер-источник
-
(Опционально) Создайте пользователя, от имени которого будет выполняться трансфер.
Вы можете поставлять данные из кластера Elasticsearch от имени пользователя
admin
, имеющего рольsuperuser
, но безопаснее для каждой задачи создавать отдельных пользователей с ограниченными привилегиями.-
В кластере-источнике создайте роль
с привилегиямиcreate_index
иwrite
для всех индексов (*
). -
В кластере источнике создайте пользователя, от имени которого будет выполняться трансфер, и назначьте ему созданную роль.
-
Подготовьте тестовые данные
-
В кластере-источнике создайте тестовый индекс
people
и задайте его схему:curl --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \ --cacert ~/.elasticsearch/root.crt \ --header 'Content-Type: application/json' \ --request PUT 'https://<адрес_хоста_Elasticsearch_с_ролью_Data_Node>:9200/people' && \ curl --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \ --cacert ~/.elasticsearch/root.crt \ --header 'Content-Type: application/json' \ --request PUT 'https://<адрес_хоста_Elasticsearch_с_ролью_Data_Node>:9200/people/_mapping?pretty' \ --data' { "properties": { "name": {"type": "text"}, "age": {"type": "integer"} } } '
-
Наполните тестовый индекс данными:
curl --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \ --cacert ~/.elasticsearch/root.crt \ --header 'Content-Type: application/json' \ --request POST 'https://<адрес_хоста_Elasticsearch_с_ролью_Data_Node>:9200/people/_doc/?pretty' \ --data' { "name" : "Alice", "age" : "30" } ' && \ curl --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \ --cacert ~/.elasticsearch/root.crt \ --header 'Content-Type: application/json' \ --request POST 'https://<адрес_хоста_Elasticsearch_с_ролью_Data_Node>:9200/people/_doc/?pretty' \ --data' { "name" : "Robert", "age" : "32" } '
-
(Опционально) Проверьте данные в тестовом индексе:
curl --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \ --cacert ~/.elasticsearch/root.crt \ --header 'Content-Type: application/json' \ --request GET 'https://<адрес_хоста_Elasticsearch_с_ролью_Data_Node>:9200/people/_search?pretty'
Настройте кластер-приемник
-
Получите SSL-сертификат для подключения к кластеру Managed Service for OpenSearch.
-
(Опционально) Создайте пользователя, от имени которого будет выполняться трансфер.
Вы можете поставлять данные в кластер Managed Service for OpenSearch от имени пользователя
admin
, имеющего рольsuperuser
, но безопаснее для каждой задачи создавать отдельных пользователей с ограниченными привилегиями.-
Создайте роль
с привилегиямиcreate_index
иwrite
для всех индексов (*
). -
Создайте пользователя и назначьте ему эту роль.
-
Подготовьте и активируйте трансфер
-
Создайте трансфер:
ВручнуюTerraform- Создайте трансфер типа Копирование, использующий созданные эндпоинты.
- Активируйте трансфер и дождитесь его перехода в статус Завершен.
-
Укажите в файле
data-transfer-mes-mos.tf
переменные:source_endpoint_id
— значение идентификатора эндпоинта для источника;target_endpoint_id
— значение идентификатора эндпоинта для приемника;transfer_enabled
— значение1
для создания трансфера.
-
Проверьте корректность файлов конфигурации Terraform с помощью команды:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
Создайте необходимую инфраструктуру:
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
-
-
Активируйте трансфер и дождитесь его перехода в статус Завершен.
Проверьте работу трансфера
Проверьте, что индекс people
кластера Managed Service for OpenSearch содержит отправленные данные:
Выполните команду:
curl --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \
--cacert ~/.opensearch/root.crt \
--header 'Content-Type: application/json' \
--request GET 'https://<адрес_хоста_OpenSearch_с_ролью_Data_Node>:9200/people/_search?pretty'
- Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.
- Выберите общий тенант
Global
. - Откройте панель управления, нажав на значок
. - В разделе OpenSearch Dashboards выберите Discover.
- В поле CHANGE INDEX PATTERN выберите индекс
people
.
Удалите созданные ресурсы
Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:
-
Удалите эндпоинты для источника и приемника.