Общие вопросы про Managed Service for Apache Kafka®

• Как обеспечить отказоустойчивость кластера?

• Что делать, если я получаю ошибку вида "disk size must be at least ... according to topics partitions number and replication factor, but size is ..."?

• Я могу получить логи моей работы в сервисах?

• Как мне перенести кластер в другую сеть?

• Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?

• Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?

• Можно ли подключиться к хостам кластера по SSH или получить на хостах права суперпользователя?

• Что делать, если при получении SSL-сертификата через PowerShell возникает ошибка проверки отзыва?

• Можно ли управлять кластером с помощью скриптов из дистрибутива Apache Kafka®?

• Что делать, если возникает ошибка kafkacat: command not found?

• Будет ли доступен Karapace во время технического обслуживания?

• Эндпоинт Karapace постоянный или меняется в зависимости от брокера?

• Какую часть работы по управлению и сопровождению баз данных берет на себя Managed Service for Apache Kafka®?

• Как отследить потерю сообщений в топике Apache Kafka®?

Как обеспечить высокую доступность кластера?Как обеспечить высокую доступность кластера?

Выполните все условия высокой доступности.

Что делать, если я получаю ошибку вида "disk size must be at least ... according to topics partitions number and replication factor, but size is ..."?Что делать, если я получаю ошибку вида "disk size must be at least ... according to topics partitions number and replication factor, but size is ..."?

Ошибка вызвана тем, что сегменты логов ваших топиков занимают больше места, чем есть в хранилище брокеров. Подробнее о расчете необходимого места см. в разделе Минимальный размер хранилища.

Для решения проблемы можно увеличить размер дискового хранилища или уменьшить размер сегмента для топиков или всего кластера.

Я могу получить логи моей работы в сервисах?Я могу получить логи моей работы в сервисах?

Да, вы можете запросить информацию о работе с вашими ресурсами из логов сервисов Yandex Cloud. Для этого обратитесь в техническую поддержку.

Как долго хранятся логи?Как долго хранятся логи?

Логи кластера хранятся 30 дней.

Как мне перенести кластер в другую сеть?Как мне перенести кластер в другую сеть?

Перенести кластер Managed Service for Apache Kafka® в другую сеть невозможно.

Альтернативное решение:

1. Создайте новый кластер аналогичной конфигурации в нужной сети.
2. Перенесите топики исходного кластера в новый кластер с помощью MirrorMaker.

Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?

Создайте алерт с метрикой disk.used_bytes в сервисе Yandex Monitoring. Метрика показывает размер использованного дискового пространства в кластере Managed Service for Apache Kafka®.

Для disk.used_bytes используются пороги для оповещения. Их рекомендуемые значения:

• Alarm — 90% дискового пространства.
• Warning — 80% дискового пространства.

Значения порогов задаются только в байтах. Например, рекомендуемые значения для диска размером в 100 ГБ:

• Alarm — 96636764160 байт (90%).
• Warning — 85899345920 байт (80%).

Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?

Вероятно, максимальные значения IOPS и пропускной способности (bandwidth) хранилища недостаточны для обработки текущего количества запросов. В этом случае срабатывает троттлинг и быстродействие всего кластера падает.

Максимальные IOPS и bandwidth прирастают на фиксированную величину при увеличении размера хранилища на определенный шаг. Шаг и прирост зависят от типа дисков:

Чтобы увеличить максимальные значения IOPS и bandwidth и снизить вероятность троттлинга, расширьте размер хранилища.

Можно ли подключиться к хостам кластера по SSH или получить на хостах права суперпользователя?Можно ли подключиться к хостам кластера по SSH или получить на хостах права суперпользователя?

Подключиться к хостам через SSH не получится. Это сделано в целях безопасности и отказоустойчивости пользовательских кластеров, так как прямые изменения внутри хоста могут привести к его полной неработоспособности.

Что делать, если при получении SSL-сертификата через PowerShell возникает ошибка проверки отзыва?Что делать, если при получении SSL-сертификата через PowerShell возникает ошибка проверки отзыва?

Полный текст ошибки:

curl: (35) schannel: next InitializeSecurityContext failed: Unknown error (0x80092012)
The revocation function was unable to check revocation for the certificate

Это означает, что при подключении к веб-сайту не удалось проверить, есть ли его сертификат в списке отозванных.

Чтобы исправить ошибку:

• убедитесь, что проверку не блокируют настройки корпоративной сети;

• выполните команду с параметром --ssl-no-revoke.

  mkdir $HOME\.kafka; curl.exe --ssl-no-revoke -o $HOME\.kafka\YandexInternalRootCA.crt https://storage.yandexcloud.kz/cloud-certs/CA.pem
  

Можно ли управлять кластером с помощью скриптов из дистрибутива Apache Kafka®?Можно ли управлять кластером с помощью скриптов из дистрибутива Apache Kafka®?

Да, можно, но с ограничениями.

Подробнее о том, какие виды API доступны в кластере и какие для них есть ограничения, см. в разделе API в Managed Service for Apache Kafka®.

Пример использования скриптов см. в разделе Подключение к кластеру Apache Kafka® из приложений.

Что делать, если возникает ошибка kafkacat: command not found?Что делать, если возникает ошибка kafkacat: command not found?

На Ubuntu 24.04 и выше команда kafkacat не работает, используйте вместо нее команду kcat.

Будет ли доступен Karapace во время технического обслуживания?Будет ли доступен Karapace во время технического обслуживания?

Сервис Karapace недоступен во время технического обслуживания и автоматически запускается после его завершения. При этом данные схем сохраняются, так как они размещены в служебном топике __schema_registry.

Эндпоинт Karapace постоянный или меняется в зависимости от брокера?Эндпоинт Karapace постоянный или меняется в зависимости от брокера?

Karapace разворачивается на каждом хосте-брокере на отдельном порте, при этом ему доступен собственный эндпоинт для подключения. При удалении брокера соответствующий эндпоинт становится недоступен.

Какую часть работы по управлению и сопровождению баз данных берет на себя Managed Service for Apache Kafka®?Какую часть работы по управлению и сопровождению баз данных берет на себя Managed Service for Apache Kafka®?

При работе необходимо учитывать, что контролирует сервис, а что — клиент Yandex Cloud. Понимание этих зон контроля помогает эффективно использовать облачные ресурсы и избегать возможных проблем при работе с базами данных. Подробнее см. Разграничение зон контроля пользователей сервисов управляемых баз данных (MDB) и Yandex Cloud.

Как отследить потерю сообщений в топике Apache Kafka®?Как отследить потерю сообщений в топике Apache Kafka®?

Если в топике используется политика очистки лога Delete с малым временем жизни сегмента, сообщения могут удаляться раньше, чем их прочитает группа потребителей. Отследить потерю сообщений можно с помощью метрик сервиса Managed Service for Apache Kafka®, поставляемых в Monitoring.

Чтобы отследить потерю сообщений:

1. Используя сервис Yandex Monitoring, отобразите на одном графике метрики kafka_group_topic_partition_offset и kafka_log_Log_LogStartOffset:
   • Для kafka_group_topic_partition_offset укажите метки:
     • service = managed-kafka,
     • name = kafka_group_topic_partition_offset,
     • host = <FQDN_хоста>,
     • topic = <имя_топика>,
     • partition = <номер_раздела>,
     • group = <имя_группы_потребителей>.
   • Для kafka_log_Log_LogStartOffset укажите метки:
     • service = managed-kafka,
     • name = kafka_log_Log_LogStartOffset,
     • host = <FQDN_хоста>,
     • topic = <имя_топика>,
     • partition = <номер_раздела>.
2. Подождите, пока в топик будет записано достаточно сообщений для анализа.
3. Перейдите в сервис Yandex Monitoring и проанализируйте поведение созданных ранее метрик:
   • Если значение kafka_log_Log_LogStartOffset больше kafka_group_topic_partition_offset на всем периоде наблюдения, выбранная группа потребителей успевает вычитывать все новые сообщения из указанного сегмента топика.
   • Если есть моменты времени, когда значение kafka_group_topic_partition_offset становится меньше kafka_log_Log_LogStartOffset, это указывает на потерю сообщений.

Подробнее см. в разделе Отслеживание потери сообщений в топике Apache Kafka®.