Миграция данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer

Вы можете перенести базу данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью сервиса Yandex Data Transfer. Для этого:

1. Подготовьте трансфер.
2. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за кластер Managed Service for PostgreSQL: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы Managed Service for PostgreSQL).
• Плата за кластер Managed Service for OpenSearch: использование вычислительных ресурсов, выделенных хостам (в том числе хостам с ролью MANAGER), и дискового пространства (см. тарифы Managed Service for OpenSearch).
• Плата за использование публичных IP-адресов для хостов кластеров (см. тарифы Virtual Private Cloud).
• Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте трансферПодготовьте трансфер

1. Подключитесь к кластеру Managed Service for PostgreSQL, создайте в базе данных db1 таблицу x_tab и заполните ее данными:

   CREATE TABLE x_tab
   (
       id NUMERIC PRIMARY KEY,
       name CHAR(5)
   );
   INSERT INTO x_tab (id, name) VALUES
     (40, 'User1'),
     (41, 'User2'),
     (42, 'User3'),
     (43, 'User4'),
     (44, 'User5');
   

2. Создайте эндпоинт для приемника со следующими настройками:

   • Тип подключения — Кластер Managed Service for OpenSearch.
   • Кластер Managed Service for OpenSearch — выберите кластер Managed Service for OpenSearch из списка.
   • Пользователь — admin.
   • Пароль — <пароль_пользователя>.

3. Создайте эндпоинт для источника и трансфер:

   Вручную

   Terraform

   1. Создайте эндпоинт для источника типа PostgreSQL и укажите в нем параметры подключения к кластеру:

      • Тип инсталляции — Кластер Managed Service for PostgreSQL.
      • Кластер Managed Service for PostgreSQL — <имя_кластера-источника_PostgreSQL> из выпадающего списка.
      • База данных — db1.
      • Пользователь — pg-user.
      • Пароль — <пароль_пользователя>.

   2. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   3. Активируйте трансфер.

   1. Укажите в файле postgresql-to-opensearch.tf значения переменных:

      • target_endpoint_id — значение идентификатора эндпоинта для приемника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Завершен.

2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

3. Выберите общий тенант Global.

4. Создайте новый шаблон индекса с именем public.x_tab:

   1. Откройте панель управления, нажав на значок .
   2. В разделе Management выберите Stack Management.
   3. Перейдите в раздел Index Patterns и нажмите кнопку Create index pattern.
   4. В поле Index pattern name укажите public.x_tab и нажмите кнопку Next step.
   5. Нажмите кнопку Create index pattern.

5. Откройте панель управления, нажав на значок .

6. В разделе OpenSearch Dashboards выберите Discover.

7. В открывшемся дашборде должны появиться данные из базы данных Managed Service for PostgreSQL.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

Удалите эндпоинт для приемника.

Остальные ресурсы удалите в зависимости от способа их создания: