Копирование данных из Managed Service for OpenSearch в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer

С помощью сервиса Data Transfer вы можете перенести данные из кластера-источника Managed Service for OpenSearch в кластер-приемник Greenplum® в сервисе Yandex MPP Analytics for PostgreSQL.

Чтобы перенести данные:

1. Подготовьте облако к работе.
2. Подготовьте инфраструктуру.
3. Подготовьте тестовые данные.
4. Подготовьте и активируйте трансфер.
5. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры входят:

• Плата за вычислительные ресурсы и объем хранилища кластера Managed Service for OpenSearch (см. тарифы Managed Service for OpenSearch).
• Плата за вычислительные ресурсы, объем хранилища и резервных копий кластера Greenplum® (см. тарифы Yandex MPP Analytics for PostgreSQL).

Подготовьте инфраструктуруПодготовьте инфраструктуру

Подготовьте тестовые данныеПодготовьте тестовые данные

1. В кластере-источнике создайте тестовый индекс people и задайте его схему:

   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
        --header 'Content-Type: application/json' \
        --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people' && \
   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
        --header 'Content-Type: application/json' \
        --request PUT 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_mapping?pretty' -d'
        {
              "properties": {
                 "name": {"type": "text"},
                 "age": {"type": "integer"}
              }
        }
        '
   

2. Наполните тестовый индекс данными:

   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
        --header 'Content-Type: application/json' \
        --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' -d'
        {
              "name": "Alice",
              "age": "30"
        }
        ' && \
   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-источнике>:<пароль_пользователя_в_кластере-источнике> \
        --header 'Content-Type: application/json' \
        --request POST 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_doc/?pretty' -d'
        {
              "name": "Robert",
              "age": "32"
        }
        '
   

3. Проверьте, что данные сохранились в тестовом индексе:

   curl --cacert ~/.opensearch/root.crt \
        --user <имя_пользователя_в_кластере-приемнике>:<пароль_пользователя_в_кластере-приемнике> \
        --header 'Content-Type: application/json' \
        --request GET 'https://<адрес_хоста_OpenSearch_с_ролью_DATA>:9200/people/_search?pretty'
   

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

1. Создайте эндпоинт-источник для созданного ранее кластера Managed Service for OpenSearch с настройками:

   • Тип базы данных — OpenSearch.
   • Настройки подключения:
     • Тип подключения — Кластер Managed Service for OpenSearch.
     • Кластер Managed Service for OpenSearch — выберите кластер Managed Service for OpenSearch из списка.
     • Пользователь — admin.
     • Пароль — пароль пользователя admin.

2. Создайте эндпоинт-приемник для созданного ранее кластера Greenplum® с настройками:

   • Тип базы данных — Greenplum.
   • Параметры эндпоинта:
     • Тип подключения — выберите Кластер Managed Service for Greenplum.
     • Кластер Managed Service for Greenplum — выберите кластер Greenplum® из списка.
     • База данных — postgres.
     • Пользователь — введите имя пользователя в кластере Greenplum®.
     • Пароль — введите пароль пользователя в кластере Greenplum®.

3. Создайте трансфер:

   Вручную

   Terraform

   1. Создайте трансфер типа Копирование, использующий созданные эндпоинты.
   2. Активируйте трансфер.

   1. Укажите в файле opensearch-to-greenplum.tf значения параметров:

      • source_endpoint_id — идентификатор эндпоинта-источника;
      • target_endpoint_id — идентификатор эндпоинта-приемника;
      • transfer_enabled — 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Завершен.

2. Убедитесь, что в Yandex MPP Analytics for PostgreSQL перенеслись данные из кластера-источника Managed Service for OpenSearch:

   1. Получите SSL-сертификат для подключения к кластеру Greenplum®.

   2. Установите зависимости:

      sudo apt update && sudo apt install --yes postgresql-client
      

   3. Подключитесь к базе данных в кластере Greenplum®.

   4. Проверьте, что БД содержит таблицу people с тестовыми данными:

      SELECT * FROM people;
      

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать: