Загрузка данных из Yandex Managed Service for OpenSearch в Yandex Object Storage с помощью Yandex Data Transfer

С помощью сервиса Data Transfer вы можете перенести данные из кластера Managed Service for OpenSearch в объектное хранилище Object Storage.

Чтобы перенести данные:

1. Подготовьте тестовые данные.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for OpenSearch: использование вычислительных ресурсов, выделенных хостам (в том числе хостам с ролью MANAGER), и дискового пространства (см. тарифы Managed Service for OpenSearch).
• Плата за использование публичных IP-адресов для хостов кластера (см. тарифы Virtual Private Cloud).
• Плата за бакет Object Storage: хранение данных и выполнение операций с ними (см. тарифы Object Storage).
• Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте тестовые данныеПодготовьте тестовые данные

1. Подключитесь к кластеру-источнику Managed Service for OpenSearch.

2. Создайте тестовый индекс people и задайте его схему:

   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people' && \
   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_mapping?pretty' \
        --data'
        {
              "properties": {
                 "name": {"type": "text"},
                 "age": {"type": "integer"}
              }
        }
        '
   

3. Наполните тестовый индекс данными:

   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \
        --data'
        {
              "name" : "Alice",
              "age" : "30"
        }
        ' && \
   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \
        --data'
        {
              "name" : "Robert",
              "age" : "32"
        }
        '
   

4. (Опционально) Проверьте данные в тестовом индексе:

   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request GET 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_search?pretty'
   

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт для приемника типа Object Storage со следующими настройками:

   • Бакет — <имя_созданного_ранее_бакета>
   • Сервисный аккаунт — <имя_созданного_ранее_сервисного_аккаунта>.
   • Выходной формат — JSON.
   • Формат сжатия — [object Object].
   • Имя папки — from_MOS.

2. Создайте эндпоинт для источника типа OpenSearch со следующими настройками:

   • Тип подключения — Кластер Managed Service for OpenSearch.
   • Кластер Managed Service for OpenSearch — выберите кластер Managed Service for OpenSearch из списка.
   • Пользователь — admin.
   • Пароль — <пароль_пользователя>.

3. Создайте трансфер:

   Вручную

   Terraform

   1. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   2. Активируйте трансфер.

   1. Укажите в файле opensearch-to-object-storage.tf значения переменных:

      • target_endpoint_id — значение идентификатора эндпоинта для приемника;
      • source_endpoint_id — значение идентификатора эндпоинта для источника;
      • transfer_enabled — значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

Убедитесь, что данные перенеслись из кластера Managed Service for OpenSearch в бакет Object Storage:

1. Дождитесь перехода трансфера в статус Завершен.
2. В консоли управления выберите каталог, в котором находится нужный бакет.
3. В списке сервисов выберите Object Storage.
4. Выберите бакет из списка.
5. Перейдите на вкладку Объекты.
6. Проверьте, что бакет Object Storage содержит папку from_MOS с файлом JSON с тестовыми данными.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.
2. Удалите эндпоинты.
3. Удалите из созданного бакета папку from_MOS.

Остальные ресурсы удалите в зависимости от способа их создания: