Связаться с намиПодключиться

Загрузка данных из Yandex Object Storage в Managed Service for Greenplum® с помощью Yandex Data Transfer

Статья создана
Обновлена 2 декабря 2024 г.

Примечание

Функциональность загрузки данных из Object Storage в сервисе Data Transfer находится на стадии Preview. Чтобы получить доступ, обратитесь в техническую поддержку или к вашему аккаунт-менеджеру.

Вы можете перенести данные из Object Storage в таблицу Managed Service for Greenplum® с помощью сервиса Data Transfer. Для этого:

  1. Подготовьте тестовые данные.
  2. Создайте базу данных в кластере-приемнике.
  3. Подготовьте и активируйте трансфер.
  4. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

  1. Подготовьте инфраструктуру:

    1. Создайте кластер-приемник Managed Service for Greenplum® любой подходящей конфигурации с хостами в публичном доступе и следующими настройками:

      • Имя пользователя — user1.
      • Пароль — <пароль_пользователя>.

    2. Если вы используете группы безопасности в кластере, убедитесь, что они настроены правильно и допускают подключение к нему.

    3. Создайте бакет Object Storage.

    4. Создайте сервисный аккаунт с именем storage-viewer и ролью storage.viewer. Трансфер будет использовать его для доступа к бакету.

    5. Создайте статический ключ доступа для сервисного аккаунта storage-viewer.

    1. Если у вас еще нет Terraform, установите его.

    2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

    3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

    4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

    5. Скачайте в ту же рабочую директорию файл конфигурации object-storage-to-greenplum.tf.

      В этом файле описаны:

      • сеть;
      • подсеть;
      • группа безопасности, необходимая для подключения к кластеру;
      • сервисный аккаунт, который будет использоваться для создания бакета и дальнейшего доступа к нему;
      • секрет Yandex Lockbox, в котором будет храниться статический ключ сервисного аккаунта для настройки эндпоинта-источника;
      • бакет-источник Object Storage;
      • кластер-приемник Managed Service for Greenplum®;
      • трансфер.

    6. Укажите в файле object-storage-to-greenplum.tf значения переменных:

      • folder_id — идентификатор облачного каталога, такой же, как в настройках провайдера.
      • bucket_name — имя бакета в соответствии с правилами именования.
      • gp_version — версия Greenplum®.
      • gp_password — пароль пользователя Greenplum®.

    7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

    8. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

        terraform plan

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

          terraform apply

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

  2. В кластере-приемнике включите опцию Доступ из Data Transfer.

Подготовьте тестовые данные

  1. Подготовьте два CSV-файла с тестовыми данными:

    • demo_data1.csv:

      1,Anna
2,Robert
3,Umar
4,Algul
5,Viktor

    • demo_data2.csv:

      6,Maria
7,Alex

  2. Загрузите файл demo_data1.csv в бакет Object Storage.

Создайте базу данных в кластере-приемнике

  1. Подключитесь к служебной базе данных postgres в кластере-приемнике Managed Service for Greenplum® от имени пользователя user1.

  2. Создайте базу данных db1:

    CREATE DATABASE db1;

Подготовьте и активируйте трансфер

  1. Создайте эндпоинт-источник типа Object Storage со следующими настройками:

    • Тип базы данных — Object Storage.

    • Бакет — имя бакета в Object Storage.

    • Идентификатор ключа доступа AWS — открытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.

    • Секретный ключ доступа AWS — закрытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.

    • Эндпоинт — https://storage.yandexcloud.net.

    • Регион — ru-central1.

    • Формат данных — CSV.

    • Разделитель — знак запятой ,.

    • Таблица — table1.

    • Схема результирующей таблицы — выберите Вручную и укажите имена полей и тип данных:

      • Id: Int64;
      • Name: UTF8.

    Остальные параметры оставьте по умолчанию.

  2. Создайте эндпоинт-приемник типа Greenplum® и укажите в нем параметры подключения к кластеру:

    • Тип подключения — Кластер Managed Service for Greenplum.
    • Кластер Managed Service for Greenplum — <имя_кластера_приемника_Greenplum®> из выпадающего списка.
    • База данных — db1.
    • Пользователь — user1.
    • Пароль — <пароль_пользователя>.

  3. Создайте и активируйте трансфер:

    1. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.

    2. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

    1. Укажите в файле object-storage-to-greenplum.tf переменные:

      • source_endpoint_id — идентификатор эндпоинта для источника;
      • target_endpoint_id — идентификатор эндпоинта для приемника;
      • transfer_enabled — значение 1 для создания трансфера.

    2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

    3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

        terraform plan

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

          terraform apply

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

    4. Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.

Проверьте работоспособность трансфера

Чтобы убедиться в работоспособности трансфера, проверьте работу копирования и репликации.

Проверьте работу копирования

  1. Подключитесь к базе данных db1 в кластере-приемнике Managed Service for Greenplum®.

  2. Выполните запрос:

    SELECT * FROM public.table1;
    Пример ответа
      __file_name  | __row_index | Id |  Name
---------------+-------------+----+--------
demo_data1.csv |           1 |  1 | Anna
demo_data1.csv |           2 |  2 | Robert
demo_data1.csv |           3 |  3 | Umar
demo_data1.csv |           4 |  4 | Algul
demo_data1.csv |           5 |  5 | Viktor

Проверьте работу репликации

  1. Загрузите файл demo_data2.csv в бакет Object Storage.

  2. Убедитесь, что данные из файла demo_data2.csv появились в базе данных приемника:

    1. Подключитесь к базе данных db1 в кластере-приемнике Managed Service for Greenplum®.

    2. Выполните запрос:

      SELECT * FROM public.table1;
      Пример ответа
        __file_name  | __row_index | Id |  Name
---------------+-------------+----+--------
demo_data1.csv |           1 |  1 | Anna
demo_data1.csv |           2 |  2 | Robert
demo_data1.csv |           3 |  3 | Umar
demo_data1.csv |           4 |  4 | Algul
demo_data1.csv |           5 |  5 | Viktor
demo_data2.csv |           1 |  6 | Maria
demo_data2.csv |           2 |  7 | Alex

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  • Трансфер.

  • Эндпоинт-источник.

  • Эндпоинт-приемник.

  • Объекты из бакета.

  • Остальные ресурсы удалите в зависимости от способа их создания:

    1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

    2. Удалите ресурсы:

      1. Выполните команду:

        terraform destroy

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Предыдущая
Выгрузка данных Greenplum® в холодное хранилище Yandex Object Storage
Следующая
Поставка из Apache Kafka® в Greenplum®