Связаться с намиПодключиться

Загрузка данных из PostgreSQL в Yandex Object Storage

Статья создана
Обновлена 8 октября 2024 г.

Вы можете перенести базу данных из Yandex Managed Service for PostgreSQL в Yandex Object Storage с помощью сервиса Yandex Data Transfer. Для этого:

  1. Подготовьте трансфер.
  2. Активируйте трансфер.
  3. Проверьте работу копирования при повторной активации.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:

  1. Создайте кластер-источник Managed Service for PostgreSQL любой подходящей конфигурации с хостами в публичном доступе и следующими настройками:

    • Имя БД — db1.
    • Имя пользователя — pg-user.
    • Пароль — <пароль_источника>.

  2. Если вы используете группы безопасности в кластере, убедитесь, что они настроены правильно и допускают подключение к нему.

  3. Создайте бакет Yandex Object Storage.

  4. Создайте сервисный аккаунт с именем storage-sa и ролью storage.uploader. Трансфер будет использовать его для доступа к бакету.

  1. Если у вас еще нет Terraform, установите его.

  2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

  3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

  4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

  5. Скачайте в ту же рабочую директорию файл конфигурации postgresql-to-objstorage.tf.

    В этом файле описаны:

    • сеть;
    • подсеть;
    • группа безопасности, необходимая для подключения к кластеру;
    • кластер-источник Managed Service for PostgreSQL;
    • сервисный аккаунт, который будет использоваться для создания бакета и дальнейшего доступа к нему;
    • бакет-приемник Object Storage;
    • эндпоинт для источника;
    • трансфер.

  6. Укажите в файле postgresql-to-objstorage.tf:

  7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  8. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Подготовьте трансфер

  1. Подключитесь к кластеру Managed Service for PostgreSQL, создайте в базе данных db1 таблицу x_tab и заполните ее данными:

    CREATE TABLE x_tab
(
    id NUMERIC PRIMARY KEY,
    name CHAR(5)
);
INSERT INTO x_tab (id, name) VALUES
  (40, 'User1'),
  (41, 'User2'),
  (42, 'User3'),
  (43, 'User4'),
  (44, 'User5');

  2. Создайте эндпоинт-приемник типа Object Storage со следующими настройками:

    • Бакет — <имя_созданного_ранее_бакета>
    • Сервисный аккаунт — storage-sa.
    • Выходной формат — CSV.
    • Формат сжатия — UNCOMPRESSED.
    • Имя папки — from_PostgreSQL.

  3. Создайте эндпоинт-источник и трансфер:

  1. Создайте эндпоинт-источник типа PostgreSQL и укажите в нем параметры подключения к кластеру:

    • Тип инсталляции — Кластер Managed Service for PostgreSQL.
    • Кластер Managed Service for PostgreSQL — <имя_кластера-источника_PostgreSQL> из выпадающего списка.
    • База данных — db1.
    • Пользователь — pg-user.
    • Пароль — <пароль_пользователя>.

  2. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

  1. Укажите в файле postgresql-to-objstorage.tf переменные:

    • objstorage_endpoint_id — значение идентификатора эндпоинта для приемника;
    • transfer_enabled – значение 1 для создания трансфера.

  2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  3. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Активируйте трансфер

  1. Активируйте трансфер и дождитесь его перехода в статус Завершен.

  2. Убедитесь, что в бакете Object Storage появилась таблица public_x_tab.csv с данными из таблицы x_tab.

Проверьте работу копирования при повторной активации

  1. Подключитесь к кластеру Managed Service for PostgreSQL, удалите строку с идентификатором 41 и измените строку с идентификатором 42 в таблице x_tab:

    DELETE FROM x_tab WHERE id = 41;
UPDATE x_tab SET name = 'Key3' WHERE id = 42;

  2. Повторно активируйте трансфер и дождитесь его перехода в статус Завершен.

  3. Убедитесь, что изменения отобразились в таблице public_x_tab.csv на приемнике.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  • Убедитесь, что трансфер находится в статусе Завершен.

  • Удалите эндпоинт-приемник.

  • Удалите трансфер, эндпоинт-источник, кластер и бакет:

    1. В терминале перейдите в директорию с планом инфраструктуры.

    2. Удалите конфигурационный файл postgresql-to-objstorage.tf.

    3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

    4. Подтвердите изменение ресурсов.

      1. Выполните команду для просмотра планируемых изменений:

        terraform plan

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

          terraform apply

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

      Все ресурсы, которые были описаны в конфигурационном файле postgresql-to-objstorage.tf, будут удалены.

Предыдущая
MySQL® в Object Storage
Следующая
OpenSearch в Object Storage