Перенос данных из Yandex Object Storage в Yandex Managed Service for PostgreSQL с использованием Yandex Data Transfer

Вы можете перенести данные из Yandex Object Storage в таблицу Managed Service for PostgreSQL с помощью сервиса Data Transfer. Для этого:

1. Подготовьте тестовые данные.
2. Подготовьте трансфер.
3. Активируйте трансфер.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за бакет Object Storage: хранение данных и выполнение операций с ними (см. тарифы Object Storage).
• Плата за кластер Managed Service for PostgreSQL: использование вычислительных ресурсов, выделенных хостам, и дискового пространства (см. тарифы Managed Service for PostgreSQL).
• Плата за использование публичных IP-адресов для хостов кластера (см. тарифы Virtual Private Cloud).
• Плата за каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (см. тарифы Data Transfer).

Перед началом работыПеред началом работы

Подготовьте инфраструктуру:

Подготовьте тестовые данныеПодготовьте тестовые данные

1. Создайте на рабочей машине demo_data.csv и наполните его тестовыми данными:

   1,Anna
   2,Robert
   3,Umar
   4,Algul
   5,Viktor
   

2. Загрузите подготовленный файл в бакет Object Storage.

Подготовьте трансферПодготовьте трансфер

1. Создайте эндпоинт-источник типа Object Storage со следующими настройками:

   • Тип базы данных — Object Storage.

   • Бакет — имя бакета в Object Storage.

   • Идентификатор ключа доступа AWS — открытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.

   • Секретный ключ доступа AWS — закрытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.

   • Эндпоинт — https://storage.yandexcloud.net.

   • Регион — ru-central1.

   • Формат данных — CSV.

   • Разделитель — знак запятой ,.

   • Таблица — имя CSV-файла в бакете, например demo_data.csv.

   • Схема результирующей таблицы — выберите Вручную и укажите имена полей и тип данных:

     • Id: Int64;
     • Name: UTF8.

   Остальные параметры оставьте по умолчанию.

2. Создайте эндпоинт-приемник и трансфер:

   Вручную

   Terraform

   1. Создайте эндпоинт-приемник типа PostgreSQL и укажите в нем параметры подключения к кластеру:

      • Тип инсталляции — Кластер Managed Service for PostgreSQL.
      • Кластер Managed Service for PostgreSQL — имя кластера-источника PostgreSQL из выпадающего списка.
      • База данных — db1.
      • Пользователь — pg-user.
      • Пароль — <пароль_пользователя>.

   2. Создайте трансфер типа Копирование, использующий созданные эндпоинты.

   1. Укажите в файле objstorage-to-postgres.tf переменные:

      • source_endpoint_id — значение идентификатора эндпоинта для источника;
      • transfer_enabled – значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

Активируйте трансферАктивируйте трансфер

1. Активируйте трансфер и дождитесь его перехода в статус Завершен.

2. Подключитесь к базе данных в кластере-приемнике Managed Service for PostgreSQL.

3. Выполните запрос:

   SELECT * FROM public."demo_data.csv";
   

   Пример ответа

    __file_name  | __row_index | Id |  Name  
   --------------+-------------+----+--------
   demo_data.csv |           1 |  1 | Anna
   demo_data.csv |           2 |  2 | Robert
   demo_data.csv |           3 |  3 | Umar
   demo_data.csv |           4 |  4 | Algul
   demo_data.csv |           5 |  5 | Viktor
   

Данные успешно перенесены.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

• Трансфер.

• Эндпоинт-источник.

• Объекты из бакета.

• Остальные ресурсы удалите в зависимости от способа их создания:

  Вручную

  Terraform

  • Эндпоинт-приемник.
  • Managed Service for PostgreSQL.
  • Бакет Object Storage.

  1. В терминале перейдите в директорию с планом инфраструктуры.

     Важно

     Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

  2. Удалите ресурсы:

     1. Выполните команду:

        terraform destroy
        

     2. Подтвердите удаление ресурсов и дождитесь завершения операции.

     Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.