Общие вопросы про Managed Service for Apache Kafka®

• Как обеспечить отказоустойчивость кластера?

• Что делать, если я получаю ошибку вида "disk size must be at least ... according to topics partitions number and replication factor, but size is ..."?

• Я могу получить логи моей работы в сервисах?

• Как мне перенести кластер в другую сеть?

• Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?

• Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?

• Можно ли подключиться к хостам кластера по SSH или получить на хостах права суперпользователя?

Как обеспечить отказоустойчивость кластера?Как обеспечить отказоустойчивость кластера?

Выполните все условия отказоустойчивости.

Что делать, если я получаю ошибку вида "disk size must be at least ... according to topics partitions number and replication factor, but size is ..."?Что делать, если я получаю ошибку вида "disk size must be at least ... according to topics partitions number and replication factor, but size is ..."?

Ошибка вызвана тем, что сегменты логов ваших топиков занимают больше места, чем есть в хранилище брокеров. Подробнее о расчете необходимого места см. в разделе Минимальный размер хранилища.

Для решения проблемы можно увеличить размер дискового хранилища или уменьшить размер сегмента для топиков или всего кластера.

Я могу получить логи моей работы в сервисах?Я могу получить логи моей работы в сервисах?

Да, вы можете запросить записи о том, что происходило с вашими ресурсами, из логов сервисов Yandex Cloud. Подробнее читайте в разделе Запросы данных.

Как долго хранятся логи?Как долго хранятся логи?

Логи кластера хранятся 30 дней.

Как мне перенести кластер в другую сеть?Как мне перенести кластер в другую сеть?

Перенести кластер Managed Service for Apache Kafka® в другую сеть невозможно.

Альтернативное решение:

1. Создайте новый кластер аналогичной конфигурации в нужной сети.
2. Перенесите топики исходного кластера в новый кластер с помощью MirrorMaker.

Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?

Создайте алерт с метрикой disk.used_bytes в сервисе Yandex Monitoring. Метрика показывает размер использованного дискового пространства в кластере Managed Service for Apache Kafka®.

Для disk.used_bytes используются пороги для оповещения. Их рекомендуемые значения:

• Alarm — 90% дискового пространства.
• Warning — 80% дискового пространства.

Значения порогов задаются только в байтах. Например, рекомендуемые значения для диска размером в 100 ГБ:

• Alarm — 96636764160 байт (90%).
• Warning — 85899345920 байт (80%).

Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?Почему кластер работает медленно, хотя вычислительные ресурсы использованы не до предела?

Вероятно, максимальные значения IOPS и пропускной способности (bandwidth) хранилища недостаточны для обработки текущего количества запросов. В этом случае срабатывает троттлинг и быстродействие всего кластера падает.

Максимальные IOPS и bandwidth прирастают на фиксированную величину при увеличении размера хранилища на определенный шаг. Шаг и прирост зависят от типа дисков:

Чтобы увеличить максимальные значения IOPS и bandwidth и снизить вероятность троттлинга, расширьте размер хранилища.

Можно ли подключиться к хостам кластера по SSH или получить на хостах права суперпользователя?Можно ли подключиться к хостам кластера по SSH или получить на хостах права суперпользователя?

Подключиться к хостам через SSH не получится, как и получить права суперпользователя. Это сделано в целях безопасности и отказоустойчивости пользовательских кластеров, так как прямые изменения внутри хоста могут привести к его полной неработоспособности.