Мониторинг состояния кластера Apache Kafka® и хостов

1. В консоли управления перейдите в нужный каталог.

2. В списке сервисов выберите Managed Service for Kafka.

3. Нажмите на имя нужного кластера и выберите вкладку Мониторинг.

4. Чтобы перейти к работе с метриками, дашбордами или алертами в сервисе Yandex Monitoring, нажмите кнопку Открыть в Monitoring на панели сверху.

На странице отображаются следующие графики:

• Alive brokers — количество работоспособных брокеров, для каждого хоста с ролью KAFKA.
• Offline partitions — показывает значения параметров:
  • OfflineReplicaCount — количество разделов, не имеющих брокера-лидера. Такие разделы не позволяют ни запись, ни чтение сообщений.
  • Underreplicated partitions — количество разделов, у которых число синхронизированных реплик (in-sync replicas, ISR) меньше фактора репликации.
  • Under min ISR partitions — количество разделов, у которых число синхронизированных реплик меньше минимально допустимого значения, указанного в настройках.
• Errors — количество неуспешных запросов по видам ошибок.
• Free space — свободное дисковое пространство, для каждого хоста с ролью KAFKA (в байтах).
• Messages in — интенсивность записи сообщений (сообщений/с).
• Bytes In/Out — скорость записи и скорость чтения сообщений, для каждого хоста с ролью KAFKA (байт/с).
• Top 5 topics by size — объем данных для каждого из пяти наиболее объемных топиков (в байтах).
• Replicated bytes — скорость потока данных репликации, для каждого хоста с ролью KAFKA (байт/с).
• Partitions — общее количество реплик разделов.
• Replication lag [messages] — наибольшее отставание репликации, для каждого хоста с ролью KAFKA (в сообщениях).
• Request time (0.95 quantile) — время обработки запросов в квантиле 0.95 по видам запросов.
• Requests — интенсивность запросов по видам (запросов/с).

1. В консоли управления перейдите в нужный каталог.
2. В списке сервисов выберите Managed Service for Kafka.
3. Нажмите на имя нужного кластера и выберите вкладку Хосты → Мониторинги.
4. Выберите нужный хост из выпадающего списка.

На этой странице выводятся графики, показывающие нагрузку на отдельный хост кластера:

• CPU usage — загрузка процессорных ядер. При повышении нагрузки значение Idle уменьшается.
• Memory usage — использование оперативной памяти (в байтах). При высоких нагрузках значение параметра Free уменьшается, а значения остальных — растут.
• Disk read/write bytes — скорость дисковых операций (байт/с).
• Disk IOPS — интенсивность дисковых операций (операций/с).
• Network Bytes — скорость обмена данными по сети (байт/с).
• Network Packets — интенсивность обмена данными по сети (пакетов/с).
• Free space — свободное дисковое пространство (в байтах).

1. В консоли управления выберите каталог с кластером, для которого нужно настроить алерты.
2. В списке сервисов выберите  Monitoring.
3. В блоке Сервисные дашборды выберите Managed Service for Apache Kafka® — Cluster Overview.
4. На нужном графике нажмите на значок и выберите пункт Создать алерт.
5. Если на графике несколько показателей, выберите запрос данных для формирования метрики и нажмите Продолжить. Подробнее о языке запросов см. документацию Yandex Monitoring.
6. Задайте пороговые значения Alarm и Warning для срабатывания алерта.
7. Нажмите кнопку Создать алерт.

1. Создайте алерт.
2. Добавьте метрику состояния.
3. Задайте значения порогов для оповещения в параметрах алерта.