Связаться с намиПодключиться

Как начать работать с Managed Service for Apache Kafka®

Статья создана
Обновлена 27 ноября 2024 г.

Чтобы начать работу с сервисом:

  1. Создайте кластер.
  2. Создайте топик.
  3. Создайте пользователя.
  4. Подключитесь к кластеру.

Перед началом работы

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.

  2. Если у вас еще нет каталога, создайте его:

    1. В консоли управления в списке слева выберите нужное облако.

    2. Справа сверху нажмите кнопку Создать каталог.

    3. Введите имя каталога. Требования к имени:

      • длина — от 3 до 63 символов;
      • может содержать строчные буквы латинского алфавита, цифры и дефисы;
      • первый символ — буква, последний — не дефис.

    4. (Опционально) Введите описание каталога.

    5. Выберите опцию Создать сеть по умолчанию. Будет создана сеть с подсетями в каждой зоне доступности. Также в этой сети будет создана группа безопасности по умолчанию, внутри которой весь сетевой трафик разрешен.

    6. Нажмите кнопку Создать.

  3. Убедитесь, что для создания кластера у вашего аккаунта есть роль vpc.user и роль managed-kafka.editor или выше.

  4. Подключаться к кластеру Apache Kafka® можно как изнутри, так и извне Yandex Cloud:

    • Чтобы подключиться изнутри Yandex Cloud, создайте виртуальную машину на основе Linux в той же сети, что и кластер.

    • Чтобы подключиться к кластеру из интернета, включите публичный доступ к кластеру при его создании.

  5. Подключитесь к ВМ по SSH.

    Примечание

    Предполагается, что подключение к кластеру производится с ВМ на основе Linux.

  6. Установите утилиту kafkacat — приложение с открытым исходным кодом, которое может работать как универсальный производитель или потребитель данных:

    sudo apt-get install kafkacat

Создайте кластер

Чтобы создать кластер:

  1. В консоли управления выберите каталог, в котором нужно создать кластер.
  2. Выберите сервис Managed Service for Kafka.
  3. Нажмите кнопку Создать кластер.
  4. Задайте параметры кластера и нажмите кнопку Создать. Процесс подробно рассмотрен в разделе Создание кластера.
  5. Дождитесь, когда кластер будет готов к работе: его статус на панели Managed Service for Apache Kafka® сменится на Running, а состояние — на Alive. Это может занять некоторое время.

Затем создайте топик в кластере.

Создайте топик

Топик — это способ группировки потоков сообщений по категориям. Производители пишут сообщения в топик, а потребители читают сообщения из него.

Чтобы создать топик:

  1. В консоли управления выберите каталог, в котором находится кластер.
  2. Выберите сервис Managed Service for Kafka.
  3. Нажмите на имя созданного ранее кластера, затем выберите вкладку Топики.
  4. Нажмите кнопку Создать топик.
  5. Задайте настройки топика и нажмите кнопку Создать. Процесс подробно рассмотрен в разделе Управление топиками Apache Kafka®.

Затем создайте пользователей для производителей и потребителей.

Создайте пользователя

Настройки пользователей разграничивают права доступа производителей и потребителей к топикам в кластере.

Чтобы создать пользователя:

  1. В консоли управления выберите каталог, в котором находится кластер.
  2. Выберите сервис Managed Service for Kafka.
  3. Нажмите на имя созданного ранее кластера, затем выберите вкладку Пользователи.
  4. Нажмите кнопку Создать пользователя.
  5. Введите имя пользователя и пароль (от 8 до 128 символов).
  6. Нажмите кнопку Добавить топик и выберите созданный ранее топик из выпадающего списка.
  7. Добавьте права на доступ к этому топику для производителя и потребителя. Процесс подробно рассмотрен в разделе Управление пользователями.
  8. Нажмите кнопку Создать.

Затем подключитесь к кластеру, используя это имя пользователя.

Подключитесь к кластеру

Вы можете подключить производителя и потребителя к кластеру от имени одного пользователя. И производитель и потребитель смогут работать только с теми топиками, доступ к которым разрешен для данного пользователя.

Чтобы подключиться к кластеру:

  1. Если вы используете группы безопасности для облачной сети, настройте их так, чтобы был разрешен весь необходимый трафик между кластером и хостом, с которого выполняется подключение.

  2. Установите на ВМ SSL-сертификат:

    mkdir -p /usr/local/share/ca-certificates/Yandex/ && \
wget "https://storage.yandexcloud.net/cloud-certs/CA.pem" \
     --output-document /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt && \
chmod 0655 /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt

    Сертификат будет сохранен в файле /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt.

    mkdir $HOME\.kafka; curl.exe -o $HOME\.kafka\YandexInternalRootCA.crt https://storage.yandexcloud.net/cloud-certs/CA.pem

    Сертификат будет сохранен в файле $HOME\.kafka\YandexInternalRootCA.crt.

    Корпоративные политики и антивирус могут блокировать скачивание сертификата. Подробнее см. в разделе Вопросы и ответы.

  3. Чтобы отправить сообщение в топик, выполните команду:

    echo "test message" | kafkacat -P \
    -b <FQDN_брокера>:9091 \
    -t <имя_топика> \
    -k key \
    -X security.protocol=SASL_SSL \
    -X sasl.mechanism=SCRAM-SHA-512 \
    -X sasl.username="<логин_производителя>" \
    -X sasl.password="<пароль_производителя>" \
    -X ssl.ca.location=/usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt -Z

    В команде укажите FQDN брокера, имя топика, логин и пароль пользователя Apache Kafka®, созданного ранее.

    Как получить FQDN хоста-брокера, см. в инструкции.

  4. Чтобы получить сообщения из топика, выполните команду:

    kafkacat -C \
         -b <FQDN_брокера>:9091 \
         -t <имя_топика> \
         -X security.protocol=SASL_SSL \
         -X sasl.mechanism=SCRAM-SHA-512 \
         -X sasl.username="<логин_потребителя>" \
         -X sasl.password="<пароль_потребителя>" \
         -X ssl.ca.location=/usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt -Z -K:

    В команде укажите FQDN брокера, имя топика, логин и пароль пользователя Apache Kafka®, созданного ранее.

    Как получить FQDN хоста-брокера, см. в инструкции.

Подробно процесс подключения к кластеру Managed Service for Apache Kafka® рассмотрен в разделе Подключение к топикам в кластере.

Что дальше

Следующая
Все инструкции