Связаться с экспертомПопробовать бесплатно
Создавайте контент и получайте гранты!Готовы написать своё руководство? Участвуйте в контент-программе и получайте гранты на работу с облачными сервисами!
Подробнее о программе
Проект Яндекса
© 2026 ТОО «Облачные Сервисы Казахстан»

Поставка данных из очереди Data Streams в Managed Service for Apache Kafka® с помощью Yandex Data Transfer

Статья создана
Обновлена 5 августа 2026 г.
Открыть в Markdown

Важно

Этот документ не применим для пользователей Yandex Cloud в регионе Казахстан. Смотрите полный перечень поддерживаемых эндпоинтов в Data Transfer.

С помощью сервиса Data Transfer можно поставлять данные из потока Data Streams в кластер Managed Service for Apache Kafka®.

Чтобы перенести данные:

  1. Подготовьте поток данных Data Streams.
  2. Подготовьте и активируйте трансфер.
  3. Проверьте работоспособность трансфера.

Если созданные ресурсы вам больше не нужны, удалите их.

  • База данных Managed Service for YDB (тарифы Managed Service for YDB). Стоимость зависит от режима использования:

    • Для бессерверного режима — оплачиваются операции с данными, объем хранимых данных и резервных копий.
    • Для режима с выделенными инстансами — оплачивается использование выделенных БД вычислительных ресурсов, объем хранилища и резервные копии.

  • Сервис Data Streams (тарифы Data Streams). Стоимость зависит от режима тарификации:

    • По выделенным ресурсам — оплачивается фиксированная почасовая ставка за установленный лимит пропускной способности и срок хранения сообщений, а также дополнительно количество единиц фактически записанных данных.
    • По фактическому использованию (On-demand) — оплачиваются выполненные операции записи и чтения данных, объем считанных/записанных данных, а также объем фактически используемого хранилища для сообщений, по которым не истек срок хранения.

  • Кластер Managed Service for Apache Kafka®: выделенные хостам вычислительные ресурсы, объем хранилища и резервных копий (тарифы Managed Service for Apache Kafka®).

  • Публичные IP-адреса, если для хостов кластера включен публичный доступ (тарифы Virtual Private Cloud).

  • Каждый трансфер: использование вычислительных ресурсов и количество переданных строк данных (тарифы Data Transfer).

Перед началом работы

Подготовьте инфраструктуру поставки данных:

  1. Создайте базу данных Managed Service for YDB любой подходящей конфигурации.

  2. Создайте сервисный аккаунт и назначьте ему роль yds.editor на каталог. Трансфер будет использовать его для доступа к потоку данных.

  3. Создайте кластер Managed Service for Apache Kafka® любой подходящей конфигурации c хостами в публичном доступе.

    Примечание

    Публичный доступ к хостам кластера нужен, если вы планируете подключаться к кластеру через интернет. Этот вариант подключения более простой, и его рекомендуется использовать для прохождения руководства. К хостам без публичного доступа тоже можно подключиться, но только с виртуальных машин Yandex Cloud, расположенных в той же облачной сети, что и кластер.

  4. Создайте в кластере Managed Service for Apache Kafka® топик с именем sensors.

  5. Создайте в кластере Managed Service for Apache Kafka® пользователя с правами доступа ACCESS_ROLE_PRODUCER и ACCESS_ROLE_CONSUMER к созданному топику.

  1. Если у вас еще нет Terraform, установите его.

  2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

  3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

  4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

  5. Скачайте в ту же рабочую директорию файл конфигурации yds-to-kafka.tf.

    В этом файле описаны:

    • сеть;
    • подсеть;
    • группа безопасности и правила, необходимые для подключения к кластеру Managed Service for Apache Kafka®;
    • сервисный аккаунт;
    • база данных Managed Service for YDB;
    • кластер Managed Service for Apache Kafka®;
    • топик Managed Service for Apache Kafka® с именем sensors;
    • пользователь Managed Service for Apache Kafka® с правами доступа ACCESS_ROLE_PRODUCER и ACCESS_ROLE_CONSUMER к топику sensors;
    • эндпоинт для источника;
    • эндпоинт для приемника;
    • трансфер.

  6. Укажите в файле yds-to-kafka.tf значения параметров:

    • folder_id — идентификатор каталога;
    • ydb_name — имя базы данных Managed Service for YDB;
    • stream_name — имя потока Data Streams;
    • mkf_version — версия кластера Apache Kafka®;
    • mkf_user_name — имя пользователя в кластере Managed Service for Apache Kafka®;
    • mkf_user_password — пароль пользователя в кластере Managed Service for Apache Kafka®.

  7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  8. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Создайте поток данных Data Streams

Создайте поток данных Data Streams.

Подготовьте и активируйте трансфер

  1. Создайте эндпоинт для источника Data Streams.

    • Тип базы данных — Yandex Data Streams.

    • Параметры эндпоинта:

      • Настройки подключения:

        • Тип подключения — выберите База Managed Service for YDB.
        • База данных — выберите созданную ранее базу данных Managed Service for YDB из списка.
        • Поток — укажите имя созданного ранее потока Data Streams.
        • Сервисный аккаунт — выберите созданный ранее сервисный аккаунт с ролью yds.editor.

      • Расширенные настройки:

        • Правила конвертации — JSON.
        • Схема данных — JSON-спецификация:

        Заполните схему данных:

        Схема данных
            [
        {
            "name": "device_id",
            "type": "string"
        },
        {
            "name": "datetime",
            "type": "datetime"
        },
        {
            "name": "latitude",
            "type": "double"
        },
        {
            "name": "longitude",
            "type": "double"
        },
        {
            "name": "altitude",
            "type": "double"
        },
        {
            "name": "speed",
            "type": "double"
        },
        {
            "name": "battery_voltage",
            "type": "any"
        },
        {
            "name": "cabin_temperature",
            "type": "double"
        },
        {
            "name": "fuel_level",
            "type": "any"
        }
    ]

  2. Создайте эндпоинт для приемника Managed Service for Apache Kafka®.

    • Тип базы данных — Kafka.

    • Параметры эндпоинта:

      • Настройки подключения:

        • Тип подключения — выберите Кластер Managed Service for Apache Kafka.
        • Кластер Managed Service for Apache Kafka — выберите созданный ранее кластер Managed Service for Apache Kafka® из списка.
        • Аутентификация — выберите SASL и укажите данные созданного ранее пользователя Apache Kafka®.
        • Топик — выберите Полное имя топика.
        • Полное имя топика — укажите значение sensors.

  3. Создайте трансфер типа Репликация, использующий созданные эндпоинты.

  4. Активируйте трансфер.

  1. Укажите в файле data-transfer-ydb-mkf.tf значение 1 для переменной transfer_enabled, чтобы создать эндпоинты и трансфер.

  2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  3. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Трансфер активируется автоматически после создания.

Проверьте работоспособность трансфера

  1. Дождитесь перехода трансфера в статус Реплицируется.

  2. Отправьте в поток Data Streams тестовые данные:

    {
    "device_id":"iv9a94th6rzt********",
    "datetime":"2020-06-05T17:27:00",
    "latitude":"55.70329032",
    "longitude":"37.65472196",
    "altitude":"427.5",
    "speed":"0",
    "battery_voltage":"23.5",
    "cabin_temperature":"17",
    "fuel_level":null
}

  3. Убедитесь, что данные перенеслись в топик sensors кластера Managed Service for Apache Kafka®:

    1. Получите SSL-сертификат для подключения к кластеру Managed Service for Apache Kafka®.
    2. Установите утилиту kafkactl.
    3. Запустите команду получения сообщений из топика.

Удалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

  1. Удалите поток данных Data Streams.

  2. Остальные ресурсы удалите в зависимости от способа их создания:

    1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

    2. Удалите ресурсы:

      1. Выполните команду:

        terraform destroy

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Предыдущая
Поставка из Apache Kafka® в Data Streams
Следующая
Поставка из Apache Kafka® в Greenplum®