Предварительная настройка для подключения к кластеру Apache Kafka®
К хостам кластера Managed Service for Apache Kafka® можно подключиться:
- Через интернет, если вы настроили публичный доступ для кластера. К такому кластеру можно подключиться только используя SSL-соединение.
- С виртуальных машин Yandex Cloud, расположенных в той же облачной сети. Если к кластеру нет публичного доступа, для подключения с таких ВМ SSL-соединение использовать необязательно.
К кластеру Apache Kafka® можно подключиться как с использованием шифрования (SASL_SSL) — порт 9091, так и без него (SASL_PLAINTEXT) — порт 9092.
Чтобы подключиться к кластеру Apache Kafka®:
- Создайте пользователей для клиентов (производителей и потребителей) с доступами в нужные топики.
- Подключите клиентов к кластеру:
- производителей с помощью Kafka Producer API;
- потребителей с помощью Kafka Consumer API.
Для большинства популярных языков программирования существуют готовые реализации API Apache Kafka®. Примеры использования приведены в разделе Примеры кода.
Настройка групп безопасности
Для подключения к кластеру необходимо, чтобы группы безопасности содержали правила, которые разрешают трафик с определенных портов, IP-адресов или из других групп безопасности.
Настройки правил будут различаться в зависимости от выбранного способа подключения:
Настройте все группы безопасности кластера так, чтобы они разрешали входящий трафик с любых IP-адресов на порт 9091. Для этого создайте следующее правило для входящего трафика:
- Диапазон портов —
9091. - Протокол —
TCP. - Источник —
Диапазон адресов. - IPv4 CIDR —
0.0.0.0/0.
Чтобы разрешить использование API Managed Service for Apache Kafka® (например, для работы с Managed Schema Registry), добавьте правило для входящего трафика:
- Диапазон портов —
443. - Протокол —
TCP. - Источник —
Диапазон адресов. - IPv4 CIDR —
0.0.0.0/0.
-
Настройте все группы безопасности кластера так, чтобы они разрешали входящий трафик из группы безопасности, в которой находится ВМ, на порты 9091, 9092. Для этого в этих группах создайте следующее правило для входящего трафика:
- Диапазон портов —
9091-9092. - Протокол —
TCP. - Источник —
Группа безопасности. - Группа безопасности — если кластер и ВМ находятся в одной и той же группе безопасности, выберите значение
Текущая(Self). В противном случае укажите группу безопасности ВМ.
Чтобы разрешить использование API Managed Service for Apache Kafka® (например, для работы с Managed Schema Registry), добавьте правило для входящего трафика:
- Диапазон портов —
443. - Протокол —
TCP. - Источник —
Диапазон адресов. - IPv4 CIDR —
0.0.0.0/0.
- Диапазон портов —
-
Настройте группу безопасности, в которой находится ВМ так, чтобы можно было подключаться к ВМ и был разрешен трафик между ВМ и хостами кластера.
Пример правил для ВМ:
-
Для входящего трафика:
- Диапазон портов —
22. - Протокол —
TCP. - Источник —
Диапазон адресов. - IPv4 CIDR —
0.0.0.0/0.
Это правило позволяет подключаться к ВМ по протоколу SSH.
- Диапазон портов —
-
Для исходящего трафика:
- Протокол —
Любой(Any). - Диапазон портов —
0-65535. - Назначение —
Диапазон адресов. - IPv4 CIDR —
0.0.0.0/0.
Это правило разрешает любой исходящий трафик, что позволяет не только подключаться к кластеру, но и устанавливать на ВМ необходимые для этого сертификаты и утилиты.
- Протокол —
-
Примечание
Вы можете задать более детальные правила для групп безопасности, например, разрешающие трафик только в определенных подсетях.
Группы безопасности должны быть корректно настроены для всех подсетей, в которых будут размещены хосты кластера. При неполных или некорректных настройках групп безопасности можно потерять доступ к кластеру.
Подробнее о группах безопасности в разделе Группы безопасности.
Получение SSL-сертификата
Чтобы использовать шифрованное соединение, получите SSL-сертификат:
mkdir -p /usr/local/share/ca-certificates/Yandex/ && \
wget "https://storage.yandexcloud.net/cloud-certs/CA.pem" \
--output-document /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt && \
chmod 0655 /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt
Сертификат будет сохранен в файле /usr/local/share/ca-certificates/Yandex/YandexInternalRootCA.crt.
mkdir $HOME\.kafka; curl.exe -o $HOME\.kafka\YandexInternalRootCA.crt https://storage.yandexcloud.net/cloud-certs/CA.pem
Сертификат будет сохранен в файле $HOME\.kafka\YandexInternalRootCA.crt.
Корпоративные политики и антивирус могут блокировать скачивание сертификата. Подробнее в разделе Вопросы и ответы.
При работе с Managed Service for Apache Kafka® REST API используется этот же сертификат.
Получение FQDN хостов Apache Kafka®
Для подключения к хосту потребуется его FQDN — доменное имя. Пример FQDN хоста Apache Kafka®:
rc1a-goh2a9tr********.mdb.yandexcloud.net
FQDN можно получить несколькими способами:
-
Посмотрите FQDN в консоли управления:
- Перейдите на страницу кластера.
- Перейдите в раздел Хосты.
- Скопируйте значение в столбце FQDN хоста.
-
Скопируйте команду для подключения к кластеру в консоли управления. Команда содержит заполненный FQDN хоста-брокера. Чтобы получить команду, перейдите на страницу кластера и нажмите кнопку Подключиться.
-
Запросите список хостов в кластере с помощью CLI или API.
При работе с Managed Service for Apache Kafka® REST API можно отсылать запросы к любому хосту-брокеру: API доступно со всех хостов-брокеров кластера.
Что дальше
- Подключитесь к кластеру с помощью инструментов командной строки.
- Интегрируйте подключение к кластеру в код вашего приложения.