Миграция базы данных из Yandex Managed Service for PostgreSQL в Yandex Object Storage

Статья создана

Обновлена 8 апреля 2025 г.

Необходимые платные ресурсы
Перед началом работы
Подготовьте трансфер
Активируйте трансфер
Проверьте работу копирования при повторной активации
Удалите созданные ресурсы

Вы можете перенести базу данных из Yandex Managed Service for PostgreSQL в Yandex Object Storage с помощью сервиса Yandex Data Transfer. Для этого:

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

Плата за кластер Managed Service for PostgreSQL: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы Managed Service for PostgreSQL).
Плата за использование публичных IP-адресов для хостов кластера (см. тарифы Virtual Private Cloud).
Плата за бакет Object Storage: хранение данных и выполнение операций с ними (см. тарифы Object Storage).
Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работы

Подготовьте инфраструктуру:

Вручную

Terraform

Создайте кластер-источник Managed Service for PostgreSQL любой подходящей конфигурации с хостами в публичном доступе и следующими настройками:
- Имя БД — db1.
- Имя пользователя — pg-user.
- Пароль — <пароль_источника>.
Если вы используете группы безопасности в кластере, убедитесь, что они настроены правильно и допускают подключение к нему.
Создайте бакет Yandex Object Storage.
Создайте сервисный аккаунт с именем storage-sa и ролью storage.uploader. Трансфер будет использовать его для доступа к бакету.

Если у вас еще нет Terraform, установите его.
Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.
Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.
Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.
Скачайте в ту же рабочую директорию файл конфигурации postgresql-to-objstorage.tf.

В этом файле описаны:
- сеть;
- подсеть;
- группа безопасности, необходимая для подключения к кластеру;
- кластер-источник Managed Service for PostgreSQL;
- сервисный аккаунт, который будет использоваться для создания бакета и дальнейшего доступа к нему;
- бакет-приемник Object Storage;
- эндпоинт для источника;
- трансфер.
Укажите в файле postgresql-to-objstorage.tf:
- пароль пользователя PostgreSQL;
- имя бакета в соответствии с правилами именования.
Проверьте корректность файлов конфигурации Terraform с помощью команды:
```
terraform validate
```
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Создайте необходимую инфраструктуру:
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.
В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовьте трансфер

Подключитесь к кластеру Managed Service for PostgreSQL, создайте в базе данных db1 таблицу x_tab и заполните ее данными:

CREATE TABLE x_tab
(
    id NUMERIC PRIMARY KEY,
    name CHAR(5)
);
INSERT INTO x_tab (id, name) VALUES
  (40, 'User1'),
  (41, 'User2'),
  (42, 'User3'),
  (43, 'User4'),
  (44, 'User5');

Создайте эндпоинт-приемник типа Object Storage со следующими настройками:
- Бакет — <имя_созданного_ранее_бакета>
- Сервисный аккаунт — storage-sa.
- Выходной формат — CSV.
- Формат сжатия — UNCOMPRESSED.
- Имя папки — from_PostgreSQL.
Создайте эндпоинт-источник и трансфер:

Вручную

Terraform

Создайте эндпоинт-источник типа PostgreSQL и укажите в нем параметры подключения к кластеру:
- Тип инсталляции — Кластер Managed Service for PostgreSQL.
- Кластер Managed Service for PostgreSQL — <имя_кластера-источника_PostgreSQL> из выпадающего списка.
- База данных — db1.
- Пользователь — pg-user.
- Пароль — <пароль_пользователя>.
Создайте трансфер типа Копирование, использующий созданные эндпоинты.

Укажите в файле postgresql-to-objstorage.tf переменные:
- objstorage_endpoint_id — значение идентификатора эндпоинта для приемника;
- transfer_enabled – значение 1 для создания трансфера.
Проверьте корректность файлов конфигурации Terraform с помощью команды:
```
terraform validate
```
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Создайте необходимую инфраструктуру:
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.

Активируйте трансфер

Активируйте трансфер и дождитесь его перехода в статус Завершен.
Убедитесь, что в бакете Object Storage появилась таблица public_x_tab.csv с данными из таблицы x_tab.

Проверьте работу копирования при повторной активации

Подключитесь к кластеру Managed Service for PostgreSQL, удалите строку с идентификатором 41 и измените строку с идентификатором 42 в таблице x_tab:
```
DELETE FROM x_tab WHERE id = 41;
UPDATE x_tab SET name = 'Key3' WHERE id = 42;
```
Повторно активируйте трансфер и дождитесь его перехода в статус Завершен.
Убедитесь, что изменения отобразились в таблице public_x_tab.csv на приемнике.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

Убедитесь, что трансфер находится в статусе Завершен.
Удалите эндпоинт-приемник.
Удалите трансфер, эндпоинт-источник, кластер и бакет:
Вручную

Terraform
1. В терминале перейдите в директорию с планом инфраструктуры.
  
  Важно
  
  Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.
2. Удалите ресурсы:
  1. Выполните команду:
    
    terraform destroy
  2. Подтвердите удаление ресурсов и дождитесь завершения операции.
  Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Миграция базы данных из Yandex Managed Service for PostgreSQL в Yandex Object Storage

Необходимые платные ресурсыНеобходимые платные ресурсы

Перед началом работыПеред началом работы

Подготовьте трансферПодготовьте трансфер

Активируйте трансферАктивируйте трансфер

Проверьте работу копирования при повторной активацииПроверьте работу копирования при повторной активации

Удалите созданные ресурсыУдалите созданные ресурсы