Миграция данных из Elasticsearch в Yandex Managed Service for OpenSearch

Статья создана

Обновлена 26 сентября 2025 г.

Необходимые платные ресурсы
Перед началом работы
Настройте кластер-источник
Подготовьте тестовые данные
Настройте кластер-приемник
Подготовьте и активируйте трансфер
Проверьте работу трансфера
Удалите созданные ресурсы

Вы можете настроить перенос данных из индексов Elasticsearch в индексы Managed Service for OpenSearch с помощью сервиса Data Transfer. Для этого:

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсы

В стоимость поддержки описываемого решения входит:

Плата за кластер Managed Service for OpenSearch: использование вычислительных ресурсов, выделенных хостам (в том числе хостам с ролью MANAGER), и дискового пространства (см. тарифы Managed Service for OpenSearch).
Плата за использование публичных IP-адресов для хостов кластера (см. тарифы Virtual Private Cloud).

Перед началом работы

Создайте пользовательскую инсталляцию Elasticsearch.
Обеспечьте доступ к кластеру из Yandex Cloud.
Создайте кластер-приемник Managed Service for OpenSearch:
Вручную

Terraform

Создайте кластер-приемник Managed Service for OpenSearch любой подходящей конфигурации с хостами в публичном доступе.
1. Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.
2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.
3. Скачайте в ту же рабочую директорию файл конфигурации data-transfer-es-mos.tf.
  
  В этом файле описаны:
  - сеть;
  - подсеть;
  - группа безопасности и правила, необходимые для подключения к кластеру Managed Service for OpenSearch;
  - кластер-приемник Managed Service for OpenSearch;
  - трансфер.
4. Укажите в файле data-transfer-es-mos.tf переменные:
  - mos_version — версия OpenSearch.
  - mos_admin_password — пароль пользователя-администратора Managed Service for OpenSearch.
  - transfer_enabled — значение 0, чтобы не создавать трансфер до создания эндпоинтов вручную.
5. Выполните команду terraform init в директории с конфигурационным файлом. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.
6. Проверьте корректность файлов конфигурации Terraform с помощью команды:
  terraform validate
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
7. Создайте необходимую инфраструктуру:
  1. Выполните команду для просмотра планируемых изменений:
    
    terraform plan
    
    Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
  2. Если вас устраивают планируемые изменения, внесите их:
    
    Выполните команду:
    
    terraform apply
    
    Подтвердите изменение ресурсов.
    
    Дождитесь завершения операции.
  В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.
Установите утилиты:
- curl — для запросов к кластерам.
```
sudo apt update && sudo apt install --yes curl
```
- jq — для потоковой обработки JSON-файлов.
```
sudo apt update && sudo apt install --yes jq
```

Вы можете поставлять данные из кластера Elasticsearch от имени пользователя admin, имеющего роль superuser, но безопаснее для каждой задачи создавать отдельных пользователей с ограниченными привилегиями. Для этого создайте пользователя, от имени которого будет выполняться трансфер:

В кластере-источнике создайте роль с привилегиями create_index и write для всех индексов (*).
В кластере-источнике создайте пользователя, от имени которого будет выполняться трансфер, и назначьте ему созданную роль.

Подготовьте тестовые данные

В кластере-источнике создайте тестовый индекс people и задайте его схему:

curl --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
     --header 'Content-Type: application/json' \
     --request PUT 'https://<адрес_хоста_Elasticsearch_с_ролью_Data>:9200/people' && \
curl --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
     --header 'Content-Type: application/json' \
     --request PUT 'https://<адрес_хоста_Elasticsearch_с_ролью_Data>:9200/people/_mapping?pretty' \
     --data'
     {
           "properties": {
              "name": {"type": "text"},
              "age": {"type": "integer"}
           }
     }
     '

Наполните тестовый индекс данными:

curl --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
     --header 'Content-Type: application/json' \
     --request POST 'https://<адрес_хоста_Elasticsearch_с_ролью_Data>:9200/people/_doc/?pretty' \
     --data'
     {
           "name" : "Alice",
           "age" : "30"
     }
     ' && \
curl --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
     --header 'Content-Type: application/json' \
     --request POST 'https://<адрес_хоста_Elasticsearch_с_ролью_Data>:9200/people/_doc/?pretty' \
     --data'
     {
           "name" : "Robert",
           "age" : "32"
     }
     '

(Опционально) Проверьте данные в тестовом индексе:

curl --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \
     --header 'Content-Type: application/json' \
     --request GET 'https://<адрес_хоста_Elasticsearch_с_ролью_Data>:9200/people/_search?pretty'

Настройте кластер-приемник

Получите SSL-сертификат для подключения к кластеру Managed Service for OpenSearch.
(Опционально) Создайте пользователя, от имени которого будет выполняться трансфер.

Вы можете поставлять данные в кластер Managed Service for OpenSearch от имени пользователя admin, имеющего роль superuser, но безопаснее для каждой задачи создавать отдельных пользователей с ограниченными привилегиями.
1. Создайте роль с привилегиями create_index и write для всех индексов (*).
2. Создайте пользователя и назначьте ему эту роль.

Подготовьте и активируйте трансфер

Создайте эндпоинт для источника Elasticsearch.
Создайте эндпоинт для приемника OpenSearch.
Создайте трансфер:
Вручную

Terraform
1. Создайте трансфер типа Копирование, использующий созданные эндпоинты.
2. Активируйте трансфер и дождитесь его перехода в статус Завершен.
1. Укажите в файле data-transfer-mes-mos.tf переменные:
  - source_endpoint_id — значение идентификатора эндпоинта для источника;
  - target_endpoint_id — значение идентификатора эндпоинта для приемника;
  - transfer_enabled — значение 1 для создания трансфера.
2. Проверьте корректность файлов конфигурации Terraform с помощью команды:
  terraform validate
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
3. Создайте необходимую инфраструктуру:
  1. Выполните команду для просмотра планируемых изменений:
    
    terraform plan
    
    Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
  2. Если вас устраивают планируемые изменения, внесите их:
    
    Выполните команду:
    
    terraform apply
    
    Подтвердите изменение ресурсов.
    
    Дождитесь завершения операции.
4. Активируйте трансфер и дождитесь его перехода в статус Завершен.

Проверьте работу трансфера

Проверьте, что индекс people кластера Managed Service for OpenSearch содержит отправленные данные:

Bash

OpenSearch Dashboards

Выполните команду:

curl --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \
     --cacert ~/.opensearch/root.crt \
     --header 'Content-Type: application/json' \
     --request GET 'https://<адрес_хоста_OpenSearch_с_ролью_Data_Node>:9200/people/_search?pretty'

Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.
Выберите общий тенант Global.
Откройте панель управления, нажав на значок .
В разделе OpenSearch Dashboards выберите Discover.
В поле CHANGE INDEX PATTERN выберите индекс people.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

Удалите трансфер.
Удалите эндпоинты для источника и приемника.
Остальные ресурсы удалите в зависимости от способа их создания:
Вручную

Terraform

Удалите кластер Managed Service for OpenSearch.
1. В терминале перейдите в директорию с планом инфраструктуры.
  
  Важно
  
  Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.
2. Удалите ресурсы:
  1. Выполните команду:
    
    terraform destroy
  2. Подтвердите удаление ресурсов и дождитесь завершения операции.
  Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Миграция данных из Elasticsearch в Yandex Managed Service for OpenSearch

Необходимые платные ресурсыНеобходимые платные ресурсы

Перед началом работыПеред началом работы

Настройте кластер-источникНастройте кластер-источник

Подготовьте тестовые данныеПодготовьте тестовые данные

Настройте кластер-приемникНастройте кластер-приемник

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

Проверьте работу трансфераПроверьте работу трансфера

Удалите созданные ресурсыУдалите созданные ресурсы

Была ли статья полезна?