Связаться с намиПодключиться

Предварительная настройка для подключения к кластеру Apache Kafka®

Статья создана
Обновлена 26 декабря 2024 г.

К хостам кластера Managed Service for Apache Kafka® можно подключиться:

  • Через интернет, если вы настроили публичный доступ для кластера. К такому кластеру можно подключиться только используя SSL-соединение.

  • С виртуальных машин Yandex Cloud, расположенных в той же облачной сети. Если к кластеру нет публичного доступа, для подключения с таких ВМ SSL-соединение использовать необязательно.

К кластеру Apache Kafka® можно подключиться как с использованием шифрования (SASL_SSL) — порт 9091, так и без него (SASL_PLAINTEXT) — порт 9092.

Чтобы подключиться к кластеру Apache Kafka®:

  1. Создайте пользователей для клиентов (производителей и потребителей) с доступами в нужные топики.
  2. Подключите клиентов к кластеру:

Для большинства популярных языков программирования существуют готовые реализации API Apache Kafka®. Примеры использования приведены в разделе Примеры кода.

Настройка групп безопасности

Для подключения к кластеру необходимо, чтобы группы безопасности содержали правила, которые разрешают трафик с определенных портов, IP-адресов или из других групп безопасности.

Настройки правил будут различаться в зависимости от выбранного способа подключения:

Настройте все группы безопасности кластера так, чтобы они разрешали входящий трафик с любых IP-адресов на порт 9091. Для этого создайте следующее правило для входящего трафика:

  • Диапазон портов — 9091.
  • Протокол — TCP.
  • Источник — CIDR.
  • CIDR блоки — 0.0.0.0/0.

Чтобы разрешить использование API Managed Service for Apache Kafka® (например, для работы с Managed Schema Registry), добавьте правило для входящего трафика:

  • Диапазон портов — 443.
  • Протокол — TCP.
  • Источник — CIDR.
  • CIDR блоки — 0.0.0.0/0.

  1. Настройте все группы безопасности кластера так, чтобы они разрешали входящий трафик из группы безопасности, в которой находится ВМ, на порты 9091, 9092. Для этого в этих группах создайте следующее правило для входящего трафика:

    • Диапазон портов — 9091-9092.
    • Протокол — TCP.
    • Источник — Группа безопасности.
    • Группа безопасности — если кластер и ВМ находятся в одной и той же группе безопасности, выберите значение Текущая (Self). В противном случае укажите группу безопасности ВМ.

    Чтобы разрешить использование API Managed Service for Apache Kafka® (например, для работы с Managed Schema Registry), добавьте правило для входящего трафика:

    • Диапазон портов — 443.
    • Протокол — TCP.
    • Источник — CIDR.
    • CIDR блоки — 0.0.0.0/0.

  2. Настройте группу безопасности, в которой находится ВМ так, чтобы можно было подключаться к ВМ и был разрешен трафик между ВМ и хостами кластера.

    Пример правил для ВМ:

    • Для входящего трафика:

      • Диапазон портов — 22.
      • Протокол — TCP.
      • Источник — CIDR.
      • CIDR блоки — 0.0.0.0/0.

      Это правило позволяет подключаться к ВМ по протоколу SSH.

    • Для исходящего трафика:

      • Протокол — Любой (Any).
      • Диапазон портов — 0-65535.
      • Назначение — CIDR.
      • CIDR блоки — 0.0.0.0/0.

      Это правило разрешает любой исходящий трафик, что позволяет не только подключаться к кластеру, но и устанавливать на ВМ необходимые для этого сертификаты и утилиты.

Примечание

Вы можете задать более детальные правила для групп безопасности, например, разрешающие трафик только в определенных подсетях.

Группы безопасности должны быть корректно настроены для всех подсетей, в которых будут размещены хосты кластера. При неполных или некорректных настройках групп безопасности можно потерять доступ к кластеру.

Подробнее о группах безопасности см. в разделе Группы безопасности.

Получение SSL-сертификата

Чтобы использовать шифрованное соединение, получите SSL-сертификат:

mkdir -p /usr/local/share/ca-certificates/Yandex/ && \
wget "https://storage.yandexcloud.net/cloud-certs/CA.pem" \
     --output-document /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt && \
chmod 0655 /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt

Сертификат будет сохранен в файле /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt.

mkdir $HOME\.kafka; curl.exe -o $HOME\.kafka\YandexInternalRootCA.crt https://storage.yandexcloud.net/cloud-certs/CA.pem

Сертификат будет сохранен в файле $HOME\.kafka\YandexInternalRootCA.crt.

Корпоративные политики и антивирус могут блокировать скачивание сертификата. Подробнее см. в разделе Вопросы и ответы.

При работе с Managed Service for Apache Kafka® REST API используется этот же сертификат.

Получение FQDN хостов Apache Kafka®

Для подключения к хосту потребуется его FQDN — доменное имя. Пример FQDN хоста Apache Kafka®:

rc1a-goh2a9tr********.mdb.yandexcloud.net

FQDN можно получить несколькими способами:

  • Посмотрите FQDN в консоли управления:

    1. Перейдите на страницу кластера.
    2. Перейдите в раздел Хосты.
    3. Скопируйте значение в столбце FQDN хоста.

  • Скопируйте команду для подключения к кластеру в консоли управления. Команда содержит заполненный FQDN хоста-брокера. Чтобы получить команду, перейдите на страницу кластера и нажмите кнопку Подключиться.

  • Запросите список хостов в кластере с помощью CLI или API.

При работе с Managed Service for Apache Kafka® REST API можно отсылать запросы к любому хосту-брокеру: API доступно со всех хостов-брокеров кластера.

Что дальше

Предыдущая
Удаление кластера
Следующая
Подключение из приложений