Связаться с экспертомПопробовать бесплатно
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Сделано на Gravity UI
Проект Яндекса
© 2026 ООО «Яндекс.Облако»

Поставка данных из Yandex Managed Service for Apache Kafka® с помощью Yandex Data Transfer

Статья создана
Обновлена 14 октября 2026 г.
Открыть в Markdown

Вы можете настроить перенос данных из топика Yandex Managed Service for Apache Kafka® в Greenplum®/Apache Cloudberry™ в сервисе Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer. Для этого:

  1. Подготовьте инфраструктуру.
  2. Подготовьте тестовые данные.
  3. Подготовьте и активируйте трансфер.
  4. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

  • Кластер Managed Service for Apache Kafka®: использование выделенных хостам вычислительных ресурсов и объем хранилища (тарифы Managed Service for Apache Kafka®).
  • Кластер Yandex MPP Analytics for PostgreSQL: использование выделенных хостам вычислительных ресурсов, объем хранилища и резервных копий (тарифы Yandex MPP Analytics for PostgreSQL).
  • Публичные IP-адреса, если для хостов кластеров включен публичный доступ (тарифы Yandex Virtual Private Cloud).

Подготовьте инфраструктуру

  1. Подготовьте инфраструктуру поставки данных:

    Примечание

    Публичный доступ к хостам кластера нужен, если вы планируете подключаться к кластеру через интернет. Этот вариант подключения более простой, и его рекомендуется использовать для прохождения руководства. К хостам без публичного доступа тоже можно подключиться, но только с виртуальных машин Yandex Cloud, расположенных в той же облачной сети, что и кластер.

    1. Создайте кластер-источник Yandex Managed Service for Apache Kafka® любой подходящей конфигурации c хостами в публичном доступе.

    2. Создайте в кластере-источнике топик с именем sensors.

    3. Создайте в кластере-источнике пользователя с именем mkf-user и правами доступа к созданному топику ACCESS_ROLE_PRODUCER и ACCESS_ROLE_CONSUMER.

    4. Создайте кластер-приемник Greenplum® любой подходящей конфигурации с именем пользователя-администратора user и хостами в публичном доступе.

    5. Убедитесь, что группы безопасности кластеров настроены правильно и допускают подключение к ним:

    1. Если у вас еще нет Terraform, установите его.

    2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

    3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

    4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

    5. Скачайте в ту же рабочую директорию файл конфигурации kafka-greenplum.tf.

      В этом файле описаны:

      • сети и подсети для размещения кластеров;
      • группы безопасности для подключения к кластерам;
      • кластер-источник Managed Service for Apache Kafka®;
      • кластер-приемник Greenplum® в сервисе Yandex MPP Analytics for PostgreSQL;
      • эндпоинт Apache Kafka®;
      • трансфер.

    6. Укажите в файле kafka-greenplum.tf пароли пользователя и версии Apache Kafka® и Greenplum®.

    7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

    8. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

        terraform plan

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

          terraform apply

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

      В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

  2. Установите утилиты:

Подготовьте тестовые данные

Пусть в качестве сообщения в топик Apache Kafka® sensors кластера-источника поступают данные от сенсоров автомобиля в формате JSON.

Создайте на рабочей машине файл sample.json с тестовыми данными:

sample.json
{
    "device_id": "iv9a94th6rzt********",
    "datetime": "2020-06-05 17:27:00",
    "latitude": 55.70329032,
    "longitude": 37.65472196,
    "altitude": 427.5,
    "speed": 0,
    "battery_voltage": 23.5,
    "cabin_temperature": 17,
    "fuel_level": null
}

Подготовьте и активируйте трансфер

  1. Создайте эндпоинт для приемника Greenplum®:

    • Направление — Приёмник.
    • Укажите имя эндпоинта.
    • Тип базы данных — Greenplum/Yandex MPP Analytics.
    • Параметры эндпоинта:
      • Тип подключения — выберите Ручная настройка.
      • Тип инсталляции — выберите Кластер.
      • Кластер — выберите кластер из списка.
      • База данных — укажите имя нужной БД.
      • Пользователь — укажите user.
      • Пароль — укажите пароль пользователя user.

  2. Создайте эндпоинт для источника Apache Kafka® и трансфер:

    1. Создайте эндпоинт-источник типа Apache Kafka®:

      • Направление — Источник.

      • Укажите имя эндпоинта.

      • Тип базы данных — Kafka.

      • Параметры эндпоинта:

        • Тип подключения — выберите Ручная настройка.

        • Тип инсталляции — выберите Кластер Managed Service for Apache Kafka.

        • Кластер Managed Service for Apache Kafka — выберите кластер-источник из списка.

        • Аутентификация — выберите SASL и укажите имя и пароль пользователя, созданного ранее.

        • Полное имя топика — укажите sensors.

        • В поле Схема данных укажите правила конвертации типа json. Выберите JSON-спецификация и в открывшуюся форму скопируйте следующую спецификацию полей:

          sensors-specification
          [
    {
        "name": "device_id",
        "type": "utf8",
        "key": true
    },
    {
        "name": "datetime",
        "type": "utf8"
    },
    {
        "name": "latitude",
        "type": "double"
    },
    {
        "name": "longitude",
        "type": "double"
    },
    {
        "name": "altitude",
        "type": "double"
    },
    {
        "name": "speed",
        "type": "double"
    },
    {
        "name": "battery_voltage",
        "type": "double"
    },
    {
        "name": "cabin_temperature",
        "type": "uint16"
    },
    {
        "name": "fuel_level",
        "type": "uint16"
    }
]

    2. Создайте трансфер типа Репликация, использующий созданные эндпоинты.

    3. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

    1. Укажите в файле kafka-greenplum.tf переменные:

      • gp_target_endpoint_id — значение идентификатора эндпоинта для приемника Greenplum®;
      • transfer_enabled – значение 1 для создания трансфера.

    2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

    3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

        terraform plan

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

          terraform apply

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

    4. Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.

Проверьте работоспособность трансфера

Убедитесь, что в базу данных Greenplum® переносятся данные из топика кластера-источника Managed Service for Apache Kafka®:

  1. Отправьте данные из файла sample.json в топик sensors Managed Service for Apache Kafka® с помощью утилит jq и kafkacat:

    jq -rc . sample.json | kafkacat -P \
    -b <FQDN_хоста-брокера>:9091 \
    -t sensors \
    -k key \
    -X security.protocol=SASL_SSL \
    -X sasl.mechanisms=SCRAM-SHA-512 \
    -X sasl.username="<имя_пользователя_в_кластере-источнике>" \
    -X sasl.password="<пароль_пользователя_в_кластере-источнике>" \
    -X ssl.ca.location=/usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt -Z

    Подробнее о настройке SSL-сертификата и работе с kafkacat в разделе Подключение к кластеру Apache Kafka® из приложений.

  2. Убедитесь, что в базу данных Greenplum® перенеслись данные из кластера-источника Managed Service for Apache Kafka®:

    1. Подключитесь к базе данных Greenplum®.

    2. Проверьте, что база данных содержит таблицу sensors с тестовыми данными из топика:

      SELECT * FROM public.sensors;

Удалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

  1. Убедитесь, что трансфер находится в статусе Завершен и удалите его.

  2. Удалите ресурсы в зависимости от способа их создания:

    1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

    2. Удалите ресурсы:

      1. Выполните команду:

        terraform destroy

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

  3. Удалите эндпоинт-приемник.

Предыдущая
Копирование данных из Managed Service for OpenSearch в Yandex MPP Analytics for PostgreSQL с помощью Yandex Data Transfer
Следующая
Обзор СУБД Greenplum® и Apache Cloudberry™ в сервисе Yandex MPP Analytics for PostgreSQL