Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex Data Transfer
  • Доступные трансферы
  • Начало работы
    • Все инструкции
    • Подготовка к трансферу
      • Управление эндпоинтами
      • Миграция эндпоинтов в другую зону доступности
        • Источник
        • Приемник
    • Управление трансфером
    • Работа с базами данных во время трансфера
    • Мониторинг состояния трансфера
  • Решение проблем
  • Управление доступом
  • Правила тарификации
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • Обучающие курсы

В этой статье:

  • Сценарии передачи данных в Greenplum®
  • Настройка источника данных
  • Подготовка базы данных приемника
  • Настройка эндпоинта-приемника Greenplum®
  • Кластер Managed Service for Greenplum®
  • Пользовательская инсталляция
  • Дополнительные настройки
  1. Пошаговые инструкции
  2. Настройка эндпоинтов
  3. Greenplum®
  4. Приемник

Передача данных в эндпоинт-приемник Greenplum®

Статья создана
Yandex Cloud
Обновлена 7 мая 2025 г.
  • Сценарии передачи данных в Greenplum®
  • Настройка источника данных
  • Подготовка базы данных приемника
  • Настройка эндпоинта-приемника Greenplum®
    • Кластер Managed Service for Greenplum®
    • Пользовательская инсталляция
    • Дополнительные настройки

С помощью сервиса Yandex Data Transfer вы можете переносить данные в базу Greenplum® и реализовывать различные сценарии переноса, обработки и трансформации данных. Для реализации трансфера:

  1. Ознакомьтесь с возможными сценариями передачи данных.
  2. Настройте один из поддерживаемых источников данных.
  3. Подготовьте базу данных Greenplum® к трансферу.
  4. Настройте эндпоинт-приемник в Yandex Data Transfer.
  5. Создайте и запустите трансфер.
  6. Выполняйте необходимые действия по работе с базой и контролируйте трансфер.
  7. При возникновении проблем, воспользуйтесь готовыми решениями по их устранению.

Сценарии передачи данных в Greenplum®Сценарии передачи данных в Greenplum®

  1. Миграция — перенос данных из одного хранилища в другое. Часто это перенос базы из устаревших локальных баз в управляемые облачные.

    • Миграция кластера Greenplum®;
    • Миграция со сменой хранилища: MySQL® в Greenplum®.
    • Миграция со сменой хранилища: OpenSearch в Greenplum®.
  2. Поставка данных — процесс доставки произвольных данных в целевые хранилища. Процесс поставки включает извлечение данных из очереди и их десериализацию с последующей трансформацией данных в формат целевого хранилища.

    • Поставка данных из Apache Kafka® в Greenplum®.
  3. Загрузка данных в витрины — процесс трансфера подготовленных данных в хранилища с целью последующей визуализации.

    • Загрузка данных из Object Storage в Greenplum®.

Подробное описание возможных сценариев передачи данных в Yandex Data Transfer см. в разделе Практические руководства.

Настройка источника данныхНастройка источника данных

Настройте один из поддерживаемых источников данных:

  • PostgreSQL;
  • MySQL®;
  • Greenplum®;
  • Apache Kafka®;
  • Airbyte®;
  • YDS;
  • Yandex Object Storage;
  • Managed Service for YDB;
  • Oracle.

Полный список поддерживаемых источников и приемников в Yandex Data Transfer см. в разделе Доступные трансферы.

Подготовка базы данных приемникаПодготовка базы данных приемника

Managed Service for Greenplum®
Greenplum®
  1. Отключите на приемнике следующие настройки:

    • проверку целостности внешних ключей;
    • триггеры;
    • другие ограничения (constraints).

    Важно

    Не включайте эти настройки до окончания трансфера. Это обеспечит целостность данных по внешним ключам.

  2. Создайте пользователя:

    CREATE ROLE <имя_пользователя> LOGIN ENCRYPTED PASSWORD '<пароль>';
    
  3. Выдайте созданному пользователю все привилегии на базу данных, схемы и переносимые таблицы:

    GRANT ALL PRIVILEGES ON DATABASE <имя_базы> TO <имя_пользователя>;
    

    Если база не пустая, то пользователь должен быть ее владельцем (owner):

    ALTER DATABASE <имя_базы> OWNER TO <имя_пользователя>;
    

    После старта трансфер подключится к приемнику от имени этого пользователя.

  1. Если вы не планируете использовать для подключения к внешнему кластеру сервис Cloud Interconnect или VPN, разрешите подключения к такому кластеру из интернета с IP-адресов, используемых сервисом Data Transfer.

    Подробнее о настройке сети для работы с внешними ресурсами см. в концепции.

  2. Отключите на приемнике следующие настройки:

    • проверку целостности внешних ключей;
    • триггеры;
    • другие ограничения (constraints).

    Важно

    Не включайте эти настройки до окончания трансфера. Это обеспечит целостность данных по внешним ключам.

  3. Создайте пользователя:

    CREATE ROLE <имя_пользователя> LOGIN ENCRYPTED PASSWORD '<пароль>';
    
  4. Выдайте созданному пользователю все привилегии на базу данных, схемы и переносимые таблицы:

    GRANT ALL PRIVILEGES ON DATABASE <имя_базы> TO <имя_пользователя>;
    

    Если база не пустая, то пользователь должен быть ее владельцем (owner):

    ALTER DATABASE <имя_базы> OWNER TO <имя_пользователя>;
    

    После старта трансфер подключится к приемнику от имени этого пользователя.

Настройка эндпоинта-приемника Greenplum®Настройка эндпоинта-приемника Greenplum®

При создании или изменении эндпоинта вы можете задать:

  • Настройки подключения к кластеру Yandex Managed Service for Greenplum® или пользовательской инсталляции, в т. ч. на базе виртуальных машин Yandex Compute Cloud. Эти параметры обязательные.
  • Дополнительные параметры.

Кластер Managed Service for Greenplum®Кластер Managed Service for Greenplum®

Важно

Для создания или редактирования эндпоинта управляемой базы данных вам потребуется роль managed-greenplum.viewer или примитивная роль viewer, выданная на каталог кластера этой управляемой базы данных.

Подключение к БД с указанием идентификатора кластера в Yandex Cloud.

Консоль управления
  • Кластер Managed Service for Greenplum — укажите идентификатор кластера, к которому необходимо подключиться.

  • Пользователь — укажите имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

  • Пароль — укажите пароль пользователя для доступа к базе данных.

  • База данных — укажите имя базы данных в выбранном кластере.

  • Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика.

    Это позволит применить к ВМ и кластерам в выбранной сети указанные правила групп безопасности без изменения настроек этих ВМ и кластеров. Подробнее см. в разделе Сеть в Yandex Data Transfer.

Пользовательская инсталляцияПользовательская инсталляция

Подключение к БД с явным указанием сетевых адресов и портов.

Консоль управления
  • Хост координатора — укажите IP-адрес или FQDN первичного хоста-мастера, к которому необходимо подключиться.

  • Порт координатора — укажите номер порта, который Data Transfer будет использовать для подключения к первичному хосту-мастеру.

  • Хост зеркала координатора — укажите IP-адрес или FQDN резервного хоста-мастера, к которому необходимо подключиться (оставьте поле пустым, если в вашем кластере только один хост-мастер).

  • Порт зеркала координатора — укажите номер порта, который сервис Data Transfer будет использовать для подключения к резервному хосту-мастеру (оставьте поле пустым, если в вашем кластере только один хост-мастер).

  • Сегменты кластера Greenplum — укажите данные для подключения к хостам-сегментам. Если их не указать, то адреса хостов-сегментов будут получены автоматически из служебной таблицы хоста-мастера.

  • Сертификат CA — загрузите файл сертификата или добавьте его содержимое в текстовом виде, если требуется шифрование передаваемых данных, например, для соответствия требованиям PCI DSS.

    Важно

    Если не добавить сертификат, трансфер может завершиться ошибкой.

  • Идентификатор подсети — выберите или создайте подсеть в нужной зоне доступности. Трансфер будет использовать эту подсеть для доступа к кластеру.

    Если значение в этом поле задано для обоих эндпоинтов, то обе подсети должны быть размещены в одной зоне доступности.

  • База данных — укажите имя базы данных в выбранном кластере.

  • Пользователь — укажите имя пользователя, под которым сервис Data Transfer будет подключаться к базе данных.

  • Пароль — укажите пароль пользователя для доступа к базе данных.

  • Группы безопасности — выберите облачную сеть для размещения эндпоинта и группы безопасности для сетевого трафика.

    Это позволит применить к ВМ и кластерам в выбранной сети указанные правила групп безопасности без изменения настроек этих ВМ и кластеров. Подробнее см. в разделе Сеть в Yandex Data Transfer.

Дополнительные настройкиДополнительные настройки

Консоль управления

Политика очистки — выберите способ очистки данных в базе-приемнике перед переносом:

  • Не очищать — выберите эту опцию, если будет производиться только репликация без копирования данных.

  • Drop — полное удаление таблиц, участвующих в трансфере (вариант по умолчанию).

    Используйте эту опцию, чтобы при любой активации трансфера в базу-приемник всегда передавалась самая последняя версия схемы таблиц из источника.

  • Truncate — удалить только данные из таблиц, участвующих в трансфере, но оставить схему.

    Используйте эту опцию, если схема в базе-приемнике отличается от той, которая была бы перенесена из источника при трансфере.

После настройки источника и приемника данных создайте и запустите трансфер.

Greenplum® и Greenplum Database® являются зарегистрированными товарными знаками или товарными знаками Broadcom Inc в США и/или других странах.

Была ли статья полезна?

Предыдущая
Источник
Следующая
Источник
Проект Яндекса
© 2025 ООО «Яндекс.Облако»