Миграция данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer

Вы можете перенести базу данных из Yandex Managed Service for PostgreSQL в Yandex Managed Service for OpenSearch с помощью сервиса Yandex Data Transfer. Для этого:

1. Подготовьте трансфер.
2. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер Managed Service for PostgreSQL: выделенные хостам вычислительные ресурсы, объем хранилища и резервных копий (см. тарифы Managed Service for PostgreSQL).
• Кластер Managed Service for OpenSearch: использование вычислительных ресурсов и объем хранилища (см. тарифы Managed Service for OpenSearch).
• Публичные IP-адреса, если для хостов кластеров включен публичный доступ (см. тарифы Virtual Private Cloud).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте трансферПодготовьте трансфер

1. Подключитесь к кластеру Managed Service for PostgreSQL, создайте в базе данных db1 таблицу x_tab и заполните ее данными:

   CREATE TABLE x_tab
   (
       id NUMERIC PRIMARY KEY,
       name CHAR(5)
   );
   INSERT INTO x_tab (id, name) VALUES
     (40, 'User1'),
     (41, 'User2'),
     (42, 'User3'),
     (43, 'User4'),
     (44, 'User5');
   

2. Создайте эндпоинт для приемника со следующими настройками:

   • Тип подключения — Кластер Managed Service for OpenSearch.
   • Кластер Managed Service for OpenSearch — выберите кластер Managed Service for OpenSearch из списка.
   • Пользователь — admin.
   • Пароль — <пароль_пользователя>.

3. Создайте эндпоинт для источника и трансфер:

   Вручную

   Terraform

   1. Создайте эндпоинт для источника типа PostgreSQL и укажите в нем параметры подключения к кластеру:

      • Тип инсталляции — Кластер Managed Service for PostgreSQL.
      • Кластер Managed Service for PostgreSQL — <имя_кластера-источника_PostgreSQL> из выпадающего списка.
      • База данных — db1.
      • Пользователь — pg-user.
      • Пароль — <пароль_пользователя>.

   2. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   3. Активируйте трансфер.

   1. Укажите в файле postgresql-to-opensearch.tf значения переменных:

      • target_endpoint_id — значение идентификатора эндпоинта для приемника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

      Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

1. Дождитесь перехода трансфера в статус Завершен.

2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

3. Выберите общий тенант Global.

4. Создайте новый шаблон индекса с именем public.x_tab:

   1. Откройте панель управления, нажав на значок .
   2. В разделе Management выберите Stack Management.
   3. Перейдите в раздел Index Patterns и нажмите кнопку Create index pattern.
   4. В поле Index pattern name укажите public.x_tab и нажмите кнопку Next step.
   5. Нажмите кнопку Create index pattern.

5. Откройте панель управления, нажав на значок .

6. В разделе OpenSearch Dashboards выберите Discover.

7. В открывшемся дашборде должны появиться данные из базы данных Managed Service for PostgreSQL.

Удалите созданные ресурсыУдалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

1. Удалите эндпоинт для приемника.

2. Остальные ресурсы удалите в зависимости от способа их создания:

   Вручную

   Terraform

   1. Удалите кластер Managed Service for OpenSearch.
   2. Удалите кластер Managed Service for PostgreSQL.
   3. Удалите эндпоинт для источника.
   4. Удалите трансфер.

   1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

   2. Удалите ресурсы:

      1. Выполните команду:

         terraform destroy
         

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.