Передача данных из эндпоинта-источника Greenplum®

1. Создайте пользователя, от имени которого трансфер подключится к источнику. Для этого выполните команду:

   CREATE ROLE <имя_пользователя> LOGIN ENCRYPTED PASSWORD '<пароль>';
   

2. Настройте кластер-источник так, чтобы созданный пользователь мог подключаться ко всем хостам-мастерам кластера.

3. Если предполагается использовать параллельное копирование, настройте кластер-источник так, чтобы созданный пользователь мог подключаться ко всем хостам-сегментам кластера в режиме прямого доступа (utility mode). Для этого убедитесь, что для кластера включена настройка "Доступ из Data Transfer".

4. Выдайте созданному пользователю привилегию на выполнение операции SELECT над таблицами, которые переносит трансфер, и привилегию USAGE на схемы, в которых находятся эти таблицы.

   Привилегии должны быть выданы на таблицы целиком, доступ только к части столбцов таблицы не поддерживается.

   Таблицы, для которых не выданы необходимые привилегии, недоступны для Data Transfer. Эти таблицы обрабатываются так же, как если бы они отсутствовали.

   В этом примере привилегии выдаются на все таблицы в выбранной схеме:

   GRANT SELECT ON ALL TABLES IN SCHEMA <название_схемы> TO <имя_пользователя>;
   GRANT USAGE ON SCHEMA <название_схемы> TO <имя_пользователя>;
   

• Кластер Managed Service for Greenplum — укажите идентификатор кластера, к которому необходимо подключиться.

• Пользователь — укажите имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• Пароль — укажите пароль пользователя для доступа к базе данных.

• База данных — укажите имя базы данных в выбранном кластере.

• Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика.

  Это позволит применить к ВМ и кластерам в выбранной сети указанные правила групп безопасности без изменения настроек этих ВМ и кластеров. Подробнее см. в разделе Сеть в Yandex Data Transfer.

• Хост координатора — укажите IP-адрес или FQDN первичного хоста-мастера, к которому необходимо подключиться.

• Порт координатора — укажите номер порта, который Data Transfer будет использовать для подключения к первичному хосту-мастеру.

• Хост зеркала координатора — укажите IP-адрес или FQDN резервного хоста-мастера, к которому необходимо подключиться (оставьте поле пустым, если в вашем кластере только один хост-мастер).

• Порт зеркала координатора — укажите номер порта, который сервис Data Transfer будет использовать для подключения к резервному хосту-мастеру (оставьте поле пустым, если в вашем кластере только один хост-мастер).

• Сегменты кластера Greenplum — укажите данные для подключения к хостам-сегментам. Если их не указать, то адреса хостов-сегментов будут получены автоматически из служебной таблицы хоста-мастера.

• Сертификат CA — загрузите файл сертификата или добавьте его содержимое в текстовом виде, если требуется шифрование передаваемых данных, например, для соответствия требованиям PCI DSS.

• Идентификатор подсети — выберите или создайте подсеть в нужной зоне доступности. Трансфер будет использовать эту подсеть для доступа к кластеру.

  Если значение в этом поле задано для обоих эндпоинтов, то обе подсети должны быть размещены в одной зоне доступности.

• База данных — укажите имя базы данных в выбранном кластере.

• Пользователь — укажите имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

• Пароль — укажите пароль пользователя для доступа к базе данных.

• Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика.

  Это позволит применить к ВМ и кластерам в выбранной сети указанные правила групп безопасности без изменения настроек этих ВМ и кластеров. Подробнее см. в разделе Сеть в Yandex Data Transfer.

• Список включённых таблиц — будут передаваться данные только из таблиц этого списка.

  Если таблица партиционирована, в этом поле можно указать как всю таблицу, так и отдельные ее партиции.

  Также убедитесь, что для включаемых в список таблиц выданы необходимые привилегии пользователю, от имени которого будет осуществляться трансфер.

  Добавление новых таблиц при редактировании эндпоинта, использующегося в трансферах типа Копирование и репликация или Репликация в статусе Реплицируется, не приведет к загрузке истории данных по этим таблицам. Чтобы добавить таблицу с ее историческими данными, используйте поле Список объектов для переноса в настройках трансфера.

• Список исключённых таблиц — данные таблиц из этого списка передаваться не будут.

  Если таблица партиционирована, то для исключения таблицы из этого списка необходимо перечислить все ее партиции.

  Списки включают имя схемы (описание содержания, структуры и ограничений целостности базы данных) и имя таблицы. Для обоих списков поддерживаются выражения вида:

  • <имя_схемы>.<имя_таблицы> — полное имя таблицы;
  • <имя_схемы>.* — все таблицы в указанной схеме;
  • <имя_таблицы> — таблица в схеме по умолчанию.

  Имена включенных и исключенных таблиц должны соответствовать правилам именования идентификаторов в Greenplum®. Двойные кавычки внутри имени таблицы не поддерживаются. Внешние кавычки используются только как разделители и будут удалены при обработке путей.

• Консистентность снапшота — при включении Data Transfer выполнит дополнительные действия с источником для обеспечения консистентности снапшота.

• Схема служебных объектов — схема, которая будет использоваться для размещения служебных объектов трансфера.

Имя схемы должно соответствовать правилам именования идентификаторов в Greenplum®. Двойные кавычки в имени схемы не поддерживаются.