Миграция данных из стороннего кластера Elasticsearch с помощью Reindex API

Кластеры Managed Service for Elasticsearch поддерживают механизм переиндексации — Reindex API. В качестве источника данных для переиндексации можно указать другой кластер Elasticsearch — такую переиндексацию называют удаленной. С ее помощью можно перенести существующие индексы, псевдонимы (aliases) или потоки данных из стороннего кластера-источника в кластер-приемник Managed Service for Elasticsearch.

Чтобы мигрировать данные из кластера-источника Elasticsearch в кластер-приемник Managed Service for Elasticsearch:

1. Настройте кластер-приемник.
2. Запустите переиндексацию.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

1. Создайте кластер-приемник Managed Service for Elasticsearch любой подходящей конфигурации.

   Включите доступ к хостам кластера через публичные IP-адреса.

   Важно

   Версия Elasticsearch в кластере-приемнике должна быть не ниже чем в кластере-источнике.

2. Убедитесь, что вы можете подключиться к кластеру-приемнику Managed Service for Elasticsearch с помощью Elasticsearch API и Kibana.

3. Убедитесь, что у кластера-источника Elasticsearch есть доступ в интернет.

4. Если кластер-источник использует для защиты соединения самоподписанный сертификат, добавьте его в качестве расширения к кластеру-приемнику.

5. Создайте в кластере-источнике пользователя с ролями monitoring_user и viewer.

Настройте кластер-приемникНастройте кластер-приемник

1. Создайте роль с привилегиями create_index и write для всех индексов (*).

2. Создайте пользователя и назначьте ему эту роль.

   Совет

   В кластерах Managed Service for Elasticsearch вы можете использовать Reindex API от имени пользователя admin, имеющего роль superuser, но безопаснее для каждой задачи создавать отдельных пользователей с ограниченными привилегиями. Подробнее см. в разделе Управление пользователями Elasticsearch.

3. Измените настройки СУБД:

   • Reindex remote whitelist — укажите IP-адрес или FQDN кластера-источника, например:

     192.168.0.1:9200, example.com:9200
     

   • (Опционально) Reindex SSL CA path — укажите локальный путь до загруженного сертификата /etc/elasticsearch/extensions/<имя_расширения>/<имя_сертификата>.

Запустите переиндексациюЗапустите переиндексацию

1. Получите список хостов кластера-приемника.

2. Для запуска переиндексации выполните запрос к хосту с ролью Master node в кластере-приемнике:

   curl --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \
        --request POST "https://<IP-адрес_или_FQDN_хоста_Master_node_в_кластере-приемнике>:9200/_reindex?pretty" \
        --header 'Content-Type: application/json' \
        --data '{
          "source": {
            "remote": {
              "host": "https://<IP-адрес_или_FQDN_хоста_Master_Node_в_кластере-источнике>:9200",
              "username": "<имя_пользователя_в_кластере-источнике>",
              "password": "<пароль_пользователя_в_кластере-источнике>"
            },
            "index": "<имя_индекса_псевдонима_или_потока_данных_в_кластере-источнике>"
          },
          "dest": {
            "index": "<имя_индекса_псевдонима_или_потока_данных_в_кластере-приемнике>"
          }
        }'
   

   Чтобы перенести несколько индексов, используйте цикл for:

   for index in <имена_индексов_псевдонимов_или_потоков_данных_разделенные_пробелами>; do
     curl --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \
          --request POST "https://<IP-адрес_или_FQDN_хоста_Master_Node_в_кластере-приемнике>:9200/_reindex?pretty" \
          --header 'Content-Type: application/json' \
          --data '{
            "source": {
              "remote": {
                "host": "https://<IP-адрес_или_FQDN_хоста_Master_Node_в_кластере-источнике>:9200",
                "username": "<имя_пользователя_в_кластере-источнике>",
                "password": "<пароль_пользователя_в_кластере-источнике>"
              },
              "index": "'$index'"
            },
            "dest": {
              "index": "'$index'"
            }
          }'
   done
   

Удалите неиспользуемые ресурсыУдалите неиспользуемые ресурсы

Удалите ресурсы, которые вы больше не будете использовать, чтобы за них не списывалась плата:

• Если вы зарезервировали для доступа к кластеру публичные статические IP-адреса, освободите и удалите их.
• Если для загрузки самоподписанного сертификата вы использовали бакет Yandex Object Storage, очистите и удалите его.