Миграция данных из Yandex Managed Service for OpenSearch в Yandex Managed Service for YDB с помощью Data Transfer

С помощью сервиса Data Transfer вы можете перенести данные из кластера Managed Service for OpenSearch в базу данных Managed Service for YDB.

Чтобы перенести данные:

1. Подготовьте тестовые данные.
2. Подготовьте и активируйте трансфер.
3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for OpenSearch: использование вычислительных ресурсов, выделенных хостам (в том числе хостам с ролью MANAGER), и дискового пространства (см. тарифы Managed Service for OpenSearch).

• Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

• Плата за использование публичных IP-адресов для хостов кластера (см. тарифы Virtual Private Cloud).

• Плата за базу данных Managed Service for YDB. Тарификация зависит от режима использования:

  • Для бессерверного режима — оплачиваются операции с данными и объем хранимых данных.
  • Для режима с выделенными инстансами — оплачивается использование вычислительных ресурсов, выделенных БД, и дискового пространства.

  Подробнее о тарифах Managed Service for YDB.

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте тестовые данныеПодготовьте тестовые данные

1. Подключитесь к кластеру-источнику Managed Service for OpenSearch.

2. Создайте тестовый индекс people и задайте его схему:

   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people' && \
   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_mapping?pretty' \
        --data'
        {
              "properties": {
                 "name": {"type": "text"},
                 "age": {"type": "integer"}
              }
        }
        '
   

3. Наполните тестовый индекс данными:

   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \
        --data'
        {
              "name" : "Alice",
              "age" : "30"
        }
        ' && \
   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' \
        --data'
        {
              "name" : "Robert",
              "age" : "32"
        }
        '
   

4. (Опционально) Проверьте данные в тестовом индексе:

   curl --user admin:<пароль> \
        --cacert ~/.opensearch/root.crt \
        --header 'Content-Type: application/json' \
        --request GET 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_search?pretty'
   

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт-источник типа OpenSearch со следующими настройками:

   • Тип подключения — Кластер Managed Service for OpenSearch.
   • Кластер Managed Service for OpenSearch — выберите кластер Managed Service for OpenSearch из списка.
   • Пользователь — admin.
   • Пароль — <пароль_пользователя>.

2. Создайте эндпоинт-приемник и трансфер:

   Вручную

   С помощью Terraform

   1. Создайте эндпоинт-приемник типа YDB со следующими настройками:

      • База данных — выберите базу данных ydb1 из списка.
      • Идентификатор сервисного аккаунта — выберите сервисный аккаунт ydb-account из списка.

   2. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   3. Активируйте трансфер и дождитесь его перехода в статус Завершен.

   1. Укажите в файле opensearch-to-ydb.tf значения параметров:

      • source_endpoint_id — идентификатор эндпоинта для источника.
      • transfer_enabled — значение 1 для создания эндпоинта-приемника и трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

   4. Трансфер активируется автоматически. Дождитесь его перехода в статус Завершен.

Проверьте работу трансфераПроверьте работу трансфера

1. Подключитесь к базе данных Managed Service for YDB.

2. Выполните запрос:

   SELECT * FROM people;
   

   Пример ответа

   # |          _id           | age | name
   --+------------------------+-----+---------
   0 | "5wn5BJEBRVOYnL8d13sP" | 30  | "Alice"
   1 | "6An5BJEBRVOYnL8d13uy" | 32  | "Robert"
   

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите ресурсы в зависимости от способа их создания:

   Вручную

   С помощью Terraform

   1. Удалите трансфер.
   2. Удалите эндпоинт для приемника.
   3. Удалите кластер Managed Service for OpenSearch.
   4. Удалите базу данных Managed Service for YDB.
   5. Удалите сервисный аккаунт.

   1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

   2. Удалите ресурсы:

      1. Выполните команду:

         terraform destroy
         

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

2. Удалите эндпоинт для источника.