Загрузка данных из Yandex Object Storage в Managed Service for Greenplum® с помощью Yandex Data Transfer

Статья создана

Обновлена 19 ноября 2024 г.

Перед началом работы
Подготовьте тестовые данные
Создайте базу данных в кластере-приемнике
Подготовьте и активируйте трансфер
Проверьте работоспособность трансфера
- Проверьте работу копирования
- Проверьте работу репликации
Удалите созданные ресурсы

Вы можете перенести данные из Object Storage в таблицу Managed Service for Greenplum® с помощью сервиса Data Transfer. Для этого:

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:
Вручную

С помощью Terraform
1. Создайте кластер-приемник Managed Service for Greenplum® любой подходящей конфигурации с хостами в публичном доступе и следующими настройками:
  - Имя пользователя — user1.
  - Пароль — <пароль_пользователя>.
2. Если вы используете группы безопасности в кластере, убедитесь, что они настроены правильно и допускают подключение к нему.
3. Создайте бакет Object Storage.
4. Создайте сервисный аккаунт с именем storage-viewer и ролью storage.viewer. Трансфер будет использовать его для доступа к бакету.
5. Создайте статический ключ доступа для сервисного аккаунта storage-viewer.
1. Если у вас еще нет Terraform, установите его.
2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.
3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.
4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.
5. Скачайте в ту же рабочую директорию файл конфигурации object-storage-to-greenplum.tf.
  
  В этом файле описаны:
  - сеть;
  - подсеть;
  - группа безопасности, необходимая для подключения к кластеру;
  - сервисный аккаунт, который будет использоваться для создания бакета и дальнейшего доступа к нему;
  - секрет Yandex Lockbox, в котором будет храниться статический ключ сервисного аккаунта для настройки эндпоинта-источника;
  - бакет-источник Object Storage;
  - кластер-приемник Managed Service for Greenplum®;
  - трансфер.
6. Укажите в файле object-storage-to-greenplum.tf значения переменных:
  - folder_id — идентификатор облачного каталога, такой же, как в настройках провайдера.
  - bucket_name — имя бакета в соответствии с правилами именования.
  - gp_version — версия Greenplum®.
  - gp_password — пароль пользователя Greenplum®.
7. Проверьте корректность файлов конфигурации Terraform с помощью команды:
  terraform validate
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
8. Создайте необходимую инфраструктуру:
  1. Выполните команду для просмотра планируемых изменений:
    
    terraform plan
    
    Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
  2. Если вас устраивают планируемые изменения, внесите их:
    
    Выполните команду:
    
    terraform apply
    
    Подтвердите изменение ресурсов.
    
    Дождитесь завершения операции.
  В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.
В кластере-приемнике включите опцию Доступ из Data Transfer.

Подготовьте тестовые данные

Подготовьте два CSV-файла с тестовыми данными:
- demo_data1.csv:
```
1,Anna
2,Robert
3,Umar
4,Algul
5,Viktor
```
- demo_data2.csv:
```
6,Maria
7,Alex
```
Загрузите файл demo_data1.csv в бакет Object Storage.

Создайте базу данных в кластере-приемнике

Подключитесь к служебной базе данных postgres в кластере-приемнике Managed Service for Greenplum® от имени пользователя user1.
Создайте базу данных db1:
```
CREATE DATABASE db1;
```

Подготовьте и активируйте трансфер

Создайте эндпоинт-источник типа Object Storage со следующими настройками:
- Тип базы данных — Object Storage.
- Бакет — имя бакета в Object Storage.
- Идентификатор ключа доступа AWS — открытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.
- Секретный ключ доступа AWS — закрытая часть статического ключа сервисного аккаунта. Если вы создали инфраструктуру с помощью Terraform, скопируйте значение ключа из секрета Yandex Lockbox.
- Эндпоинт — https://storage.yandexcloud.net.
- Регион — ru-central1.
- Формат данных — CSV.
- Разделитель — знак запятой ,.
- Таблица — table1.
- Схема результирующей таблицы — выберите Вручную и укажите имена полей и тип данных:
  - Id: Int64;
  - Name: UTF8.
Остальные параметры оставьте по умолчанию.
Создайте эндпоинт-приемник типа Greenplum® и укажите в нем параметры подключения к кластеру:
- Тип подключения — Кластер Managed Service for Greenplum.
- Кластер Managed Service for Greenplum — <имя_кластера_приемника_Greenplum®> из выпадающего списка.
- База данных — db1.
- Пользователь — user1.
- Пароль — <пароль_пользователя>.
Создайте и активируйте трансфер:
Вручную

С помощью Terraform
1. Создайте трансфер типа Копирование и репликация, использующий созданные эндпоинты.
2. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.
1. Укажите в файле object-storage-to-greenplum.tf переменные:
  - source_endpoint_id — идентификатор эндпоинта для источника;
  - target_endpoint_id — идентификатор эндпоинта для приемника;
  - transfer_enabled — значение 1 для создания трансфера.
2. Проверьте корректность файлов конфигурации Terraform с помощью команды:
  terraform validate
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
3. Создайте необходимую инфраструктуру:
  1. Выполните команду для просмотра планируемых изменений:
    
    terraform plan
    
    Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
  2. Если вас устраивают планируемые изменения, внесите их:
    
    Выполните команду:
    
    terraform apply
    
    Подтвердите изменение ресурсов.
    
    Дождитесь завершения операции.
4. Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.

Проверьте работоспособность трансфера

Чтобы убедиться в работоспособности трансфера, проверьте работу копирования и репликации.

Проверьте работу копирования

Подключитесь к базе данных db1 в кластере-приемнике Managed Service for Greenplum®.

Выполните запрос:

SELECT * FROM public.table1;

Пример ответа

  __file_name  | __row_index | Id |  Name
---------------+-------------+----+--------
demo_data1.csv |           1 |  1 | Anna
demo_data1.csv |           2 |  2 | Robert
demo_data1.csv |           3 |  3 | Umar
demo_data1.csv |           4 |  4 | Algul
demo_data1.csv |           5 |  5 | Viktor

Проверьте работу репликации

Загрузите файл demo_data2.csv в бакет Object Storage.

Убедитесь, что данные из файла demo_data2.csv появились в базе данных приемника:

Подключитесь к базе данных db1 в кластере-приемнике Managed Service for Greenplum®.

Выполните запрос:

SELECT * FROM public.table1;

Пример ответа

  __file_name  | __row_index | Id |  Name
---------------+-------------+----+--------
demo_data1.csv |           1 |  1 | Anna
demo_data1.csv |           2 |  2 | Robert
demo_data1.csv |           3 |  3 | Umar
demo_data1.csv |           4 |  4 | Algul
demo_data1.csv |           5 |  5 | Viktor
demo_data2.csv |           1 |  6 | Maria
demo_data2.csv |           2 |  7 | Alex

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

Трансфер.
Эндпоинт-источник.
Эндпоинт-приемник.
Остальные ресурсы удалите в зависимости от способа их создания:
Вручную

С помощью Terraform
- Кластер Managed Service for Greenplum®.
- Бакет Object Storage.
1. Удалите все объекты из бакета.
2. В терминале перейдите в директорию с планом инфраструктуры.
3. Удалите конфигурационный файл object-storage-to-greenplum.tf.
4. Проверьте корректность файлов конфигурации Terraform с помощью команды:
  terraform validate
  Если в файлах конфигурации есть ошибки, Terraform на них укажет.
5. Подтвердите изменение ресурсов.
  1. Выполните команду для просмотра планируемых изменений:
    
    terraform plan
    
    Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
  2. Если вас устраивают планируемые изменения, внесите их:
    
    Выполните команду:
    
    terraform apply
    
    Подтвердите изменение ресурсов.
    
    Дождитесь завершения операции.
  Все ресурсы, которые были описаны в конфигурационном файле object-storage-to-greenplum.tf, будут удалены.

Загрузка данных из Yandex Object Storage в Managed Service for Greenplum® с помощью Yandex Data Transfer

Перед началом работыПеред началом работы

Подготовьте тестовые данныеПодготовьте тестовые данные

Создайте базу данных в кластере-приемникеСоздайте базу данных в кластере-приемнике

Подготовьте и активируйте трансферПодготовьте и активируйте трансфер

Проверьте работоспособность трансфераПроверьте работоспособность трансфера

Проверьте работу копированияПроверьте работу копирования

Проверьте работу репликацииПроверьте работу репликации

Удалите созданные ресурсыУдалите созданные ресурсы

Была ли статья полезна?