Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex Managed Service for Apache Kafka®
  • Начало работы
  • Управление доступом
  • Правила тарификации
  • Справочник Terraform
  • Метрики Yandex Monitoring
  • Аудитные логи Audit Trails
  • Публичные материалы
  • История изменений
  • Вопросы и ответы
  • Обучающие курсы

В этой статье:

  • Перед началом работы
  • Создайте кластер
  • Создайте топик
  • Создайте пользователя
  • Подключитесь к кластеру
  • Что дальше

Как начать работать с Managed Service for Apache Kafka®

Статья создана
Yandex Cloud
Улучшена
Danila N.
Обновлена 11 марта 2025 г.
  • Перед началом работы
  • Создайте кластер
  • Создайте топик
  • Создайте пользователя
  • Подключитесь к кластеру
  • Что дальше

Чтобы начать работу с сервисом:

  1. Создайте кластер.
  2. Создайте топик.
  3. Создайте пользователя.
  4. Подключитесь к кластеру.

Перед началом работыПеред началом работы

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.

  2. Если у вас еще нет каталога, создайте его:

    1. В консоли управления в списке слева выберите нужное облако.

    2. Справа сверху нажмите кнопку Создать каталог.

    3. Введите имя каталога. Требования к имени:

      • длина — от 2 до 63 символов;
      • может содержать строчные буквы латинского алфавита, цифры и дефисы;
      • первый символ — буква, последний — не дефис.
    4. (Опционально) Введите описание каталога.

    5. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.

    6. Нажмите кнопку Создать.

  3. Назначьте вашему аккаунту в Yandex Cloud роль vpc.user и роль managed-kafka.editor или выше. Эти роли позволяют создать кластер.

    Примечание

    Если вы не можете управлять ролями, обратитесь к администратору вашего облака или организации.

  4. Подключаться к кластеру Apache Kafka® можно как изнутри, так и извне Yandex Cloud:

    • Чтобы подключиться изнутри Yandex Cloud, создайте виртуальную машину на основе Linux в той же сети, что и кластер.

    • Чтобы подключиться к кластеру из интернета, включите публичный доступ к кластеру при его создании.

  5. Подключитесь к ВМ по SSH.

    Примечание

    Предполагается, что подключение к кластеру производится с ВМ на основе Linux.

  6. Установите утилиту kafkacat — приложение с открытым исходным кодом, которое может работать как универсальный производитель или потребитель данных:

    sudo apt-get install kafkacat
    

    Убедитесь, что можете с ее помощью подключиться к кластеру-источнику Managed Service for Apache Kafka® через SSL.

Создайте кластерСоздайте кластер

Чтобы создать кластер:

  1. В консоли управления выберите каталог, в котором нужно создать кластер.
  2. Выберите сервис Managed Service for Kafka.
  3. Нажмите кнопку Создать кластер.
  4. Задайте параметры кластера и нажмите кнопку Создать. Процесс подробно рассмотрен в разделе Создание кластера.
  5. Дождитесь, когда кластер будет готов к работе: его статус на панели Managed Service for Apache Kafka® сменится на Running, а состояние — на Alive. Это может занять некоторое время.

Затем создайте топик в кластере.

Создайте топикСоздайте топик

Топик — это способ группировки потоков сообщений по категориям. Производители пишут сообщения в топик, а потребители читают сообщения из него.

Чтобы создать топик:

  1. В консоли управления выберите каталог, в котором находится кластер.
  2. Выберите сервис Managed Service for Kafka.
  3. Нажмите на имя созданного ранее кластера, затем выберите вкладку Топики.
  4. Нажмите кнопку Создать топик.
  5. Задайте настройки топика и нажмите кнопку Создать. Процесс подробно рассмотрен в разделе Управление топиками Apache Kafka®.

Затем создайте пользователей для производителей и потребителей.

Создайте пользователяСоздайте пользователя

Настройки пользователей разграничивают права доступа производителей и потребителей к топикам в кластере.

Чтобы создать пользователя:

  1. В консоли управления выберите каталог, в котором находится кластер.
  2. Выберите сервис Managed Service for Kafka.
  3. Нажмите на имя созданного ранее кластера, затем выберите вкладку Пользователи.
  4. Нажмите кнопку Создать пользователя.
  5. Введите имя пользователя и пароль (от 8 до 128 символов).
  6. Нажмите кнопку Добавить топик и выберите созданный ранее топик из выпадающего списка.
  7. Добавьте права на доступ к этому топику для производителя и потребителя. Процесс подробно рассмотрен в разделе Управление пользователями.
  8. Нажмите кнопку Создать.

Затем подключитесь к кластеру, используя это имя пользователя.

Подключитесь к кластеруПодключитесь к кластеру

Вы можете подключить производителя и потребителя к кластеру от имени одного пользователя. И производитель и потребитель смогут работать только с теми топиками, доступ к которым разрешен для данного пользователя.

Чтобы подключиться к кластеру:

  1. Если вы используете группы безопасности для облачной сети, настройте их так, чтобы был разрешен весь необходимый трафик между кластером и хостом, с которого выполняется подключение.

  2. Установите на ВМ SSL-сертификат:

    Linux (Bash)/macOS (Zsh)
    Windows (PowerShell)
    mkdir -p /usr/local/share/ca-certificates/Yandex/ && \
    wget "https://storage.yandexcloud.net/cloud-certs/CA.pem" \
         --output-document /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt && \
    chmod 0655 /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt
    

    Сертификат будет сохранен в файле /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt.

    mkdir $HOME\.kafka; curl.exe -o $HOME\.kafka\YandexInternalRootCA.crt https://storage.yandexcloud.net/cloud-certs/CA.pem
    

    Сертификат будет сохранен в файле $HOME\.kafka\YandexInternalRootCA.crt.

    Корпоративные политики и антивирус могут блокировать скачивание сертификата. Подробнее см. в разделе Вопросы и ответы.

  3. Чтобы отправить сообщение в топик, выполните команду:

    echo "test message" | kafkacat -P \
        -b <FQDN_брокера>:9091 \
        -t <имя_топика> \
        -k key \
        -X security.protocol=SASL_SSL \
        -X sasl.mechanism=SCRAM-SHA-512 \
        -X sasl.username="<логин_производителя>" \
        -X sasl.password="<пароль_производителя>" \
        -X ssl.ca.location=/usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt -Z
    

    В команде укажите FQDN брокера, имя топика, логин и пароль пользователя Apache Kafka®, созданного ранее.

    Как получить FQDN хоста-брокера, см. в инструкции.

  4. Чтобы получить сообщения из топика, выполните команду:

    kafkacat -C \
             -b <FQDN_брокера>:9091 \
             -t <имя_топика> \
             -X security.protocol=SASL_SSL \
             -X sasl.mechanism=SCRAM-SHA-512 \
             -X sasl.username="<логин_потребителя>" \
             -X sasl.password="<пароль_потребителя>" \
             -X ssl.ca.location=/usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt -Z -K:
    

    В команде укажите FQDN брокера, имя топика, логин и пароль пользователя Apache Kafka®, созданного ранее.

    Как получить FQDN хоста-брокера, см. в инструкции.

Подробно процесс подключения к кластеру Managed Service for Apache Kafka® рассмотрен в разделе Подключение к топикам в кластере.

Что дальшеЧто дальше

  • Изучите концепции сервиса.
  • Узнайте подробнее о создании кластера и подключении к кластеру.

Была ли статья полезна?

Следующая
Все инструкции
Проект Яндекса
© 2025 ООО «Яндекс.Облако»