Метрики Yandex Managed Service for Apache Kafka®

Статья создана

Обновлена 30 октября 2025 г.

Метрики CPU
Метрики диска
Метрики дисковых операций
Метрики RAM
Метрики сети
Метрики сервиса
Прочие метрики

В этом разделе описаны метрики сервиса Managed Service for Apache Kafka®, поставляемые в Monitoring.

Имя метрики пишется в метку name.

Общие метки для всех метрик сервиса Managed Service for Apache Kafka®:

Метка	Значение
service	Идентификатор сервиса: `managed-kafka`
resource_type	Тип ресурса: `cluster`
resource_id	Идентификатор кластера
host	FQDN хоста
node	Тип брокера: `leader`, `follower`, `replica`
subcluster_name	Тип подкластера: `zookeeper_subcluster`, `kafka_subcluster`

Метрики CPU

Загрузка процессорных ядер.

Имя Тип, единицы измерения	Описание
`cpu.fraction` `DGAUGE`, %	Гарантированная доля vCPU.
`cpu.guarantee` `DGAUGE`, штуки	Гарантированное число ядер.
`cpu.limit` `DGAUGE`, штуки	Предельное число используемых ядер.
`cpu.guest` `DGAUGE`, %	Использование процессорных ядер, тип потребления `guest`.
`cpu.idle` `DGAUGE`, %	Использование процессорных ядер, тип потребления `idle`.
`cpu.iowait` `DGAUGE`, %	Использование процессорных ядер, тип потребления `iowait`.
`cpu.irq` `DGAUGE`, %	Использование процессорных ядер, тип потребления `irq`.
`cpu.nice` `DGAUGE`, %	Использование процессорных ядер, тип потребления `nice`.
`cpu.softirq` `DGAUGE`, %	Использование процессорных ядер, тип потребления `softirq`.
`cpu.steal` `DGAUGE`, %	Использование процессорных ядер, тип потребления `steal`.
`cpu.system` `DGAUGE`, %	Использование процессорных ядер, тип потребления `system`.
`cpu.user` `DGAUGE`, %	Использование процессорных ядер, тип потребления `user`.
`load.avg_15min` `DGAUGE`, %	Средняя нагрузка за 15 минут.
`load.avg_1min` `DGAUGE`, %	Средняя нагрузка за 1 минуту.
`load.avg_5min` `DGAUGE`, %	Средняя нагрузка за 5 минут.

Метрики диска

Имя Тип, единицы измерения	Описание
`disk.free_bytes` `DGAUGE`, байты	Свободное место.
`disk.free_inodes` `DGAUGE`, штуки	Свободное количество inodes.
`disk.total_bytes` `DGAUGE`, байты	Доступное место.
`disk.total_inodes` `DGAUGE`, штуки	Доступное количество inodes.
`disk.used_bytes` `DGAUGE`, байты	Занятое место.
`disk.used_inodes` `DGAUGE`, штуки	Занятое количество inodes.

Метрики дисковых операций

Имя Тип, единицы измерения	Описание
`io.avg_read_time` `DGAUGE`, миллисекунды	Среднее время чтения с дисков.
`io.avg_write_time` `DGAUGE`, миллисекунды	Среднее время записи на диски.
`io.disk*.avg_read_time` `DGAUGE`, миллисекунды	Среднее время чтения с конкретного диска.
`io.disk*.avg_write_time` `DGAUGE`, миллисекунды	Среднее время записи на конкретный диск.
`io.disk*.read_bytes` `DGAUGE`, байт/с	Скорость чтения с конкретного диска.
`io.disk*.read_count` `DGAUGE`, операций/с	Количество операций чтения с конкретного диска в секунду.
`io.disk*.read_merged_count` `DGAUGE`, операций/с	Количество слитых операций чтения с конкретного диска в секунду.
`io.disk*.utilization` `DGAUGE`, %	Использование конкретного диска. Не работает для сетевых дисков.
`io.disk*.write_bytes` `DGAUGE`, байт/с	Скорость записи на конкретный диск.
`io.disk*.write_count` `DGAUGE`, операций/с	Количество операций записи на конкретный диск в секунду.
`io.disk*.write_merged_count` `DGAUGE`, операций/с	Количество слитых операций записи на конкретный диск в секунду.
`io.read_bytes` `DGAUGE`, байт/с	Скорость чтения с дисков.
`io.read_count` `DGAUGE`, операций/с	Количество операций чтения в секунду.
`io.read_merged_count` `DGAUGE`, операций/с	Количество слитых операций чтения в секунду.
`io.utilization` `DGAUGE`, %	Использование дисков. Не работает для сетевых дисков.
`io.write_bytes` `DGAUGE`, байт/с	Скорость записи на диски.
`io.write_count` `DGAUGE`, операций/с	Количество операций записи в секунду.
`io.write_merged_count` `DGAUGE`, операций/с	Количество слитых операций записи в секунду.

Метрики RAM

Имя Тип, единицы измерения	Описание
`mem.guarantee_bytes` `DGAUGE`, байты	Гарантированный размер оперативной памяти.
`mem.limit_bytes` `DGAUGE`, байты	Предельный размер оперативной памяти.
`mem.active_bytes` `DGAUGE`, байты	Объем оперативной памяти, которая используется наиболее часто и освобождается только в крайнем случае.
`mem.available_bytes` `DGAUGE`, байты	Использование оперативной памяти, тип потребления `available`.
`mem.buffers_bytes` `DGAUGE`, байты	Использование оперативной памяти, тип потребления `buffers`.
`mem.cached_bytes` `DGAUGE`, байты	Использование оперативной памяти, тип потребления `cached`.
`mem.free_bytes` `DGAUGE`, байты	Объем свободной оперативной памяти, доступной для использования, без учета `mem.buffers_bytes` и `mem.cached_bytes`.
`mem.shared_bytes` `DGAUGE`, байты	Использование оперативной памяти, тип потребления `shared`.
`mem.total_bytes` `DGAUGE`, байты	Использование оперативной памяти, тип потребления `total`.
`mem.used_bytes` `DGAUGE`, байты	Объем оперативной памяти, которую в данный момент используют запущенные процессы.

Метрики сети

Имя Тип, единицы измерения	Описание
`net.bytes_recv` `DGAUGE`, байт/с	Скорость получения данных по сети.
`net.bytes_sent` `DGAUGE`, байт/с	Скорость отправки данных по сети.
`net.dropin` `DGAUGE`, штуки	Количество пакетов, отброшенных при получении.
`net.dropout` `DGAUGE`, штуки	Количество пакетов, отброшенных при отправке.
`net.errin` `DGAUGE`, штуки	Количество ошибок при получении.
`net.errout` `DGAUGE`, штуки	Количество ошибок при отправке.
`net.packets_recv` `DGAUGE`, пакетов/с	Интенсивность получения данных по сети.
`net.packets_sent` `DGAUGE`, пакетов/с	Интенсивность отправки данных по сети.

В этом разделе приведены только основные метрики Managed Service for Apache Kafka®, поставляемые в Monitoring. Подробнее обо всех метриках Managed Service for Apache Kafka® можно посмотреть в официальной документации.

Прочие метрики

Имя
Тип, единицы измерения

Описание

can_read
DGAUGE, 0/1

Показатель доступности хоста на чтение. Алгоритм вычисления метрики зависит от наличия высокодоступных топиков (далее HA-топиков) и состояния их лидеров партиций:

Если на хосте есть хотя бы один HA-топик, алгоритм проверяет только HA-топики. У каждого HA-топика лидер партиции должен быть онлайн.
Если на хосте отсутствуют HA-топики, алгоритм проверяет все топики. У каждого топика лидер партиции должен быть онлайн.

Принимает значение 1, если хост доступен на чтение, 0, если нет.

can_write
DGAUGE, 0/1

Показатель доступности хоста на запись. Алгоритм вычисления метрики зависит от наличия высокодоступных топиков (далее HA-топиков) и состояния их лидеров партиций:

Если на хосте есть хотя бы один HA-топик, алгоритм проверяет только HA-топики. У каждого HA-топика количество реплик должно быть равно или больше значения Minimum number of in-sync replicas.
Если на хосте отсутствуют HA-топики, алгоритм проверяет все топики. У каждого топика количество реплик должно быть равно или больше значения Minimum number of in-sync replicas.

Подробнее о Minimum number of in-sync replicas см. в разделе Настройки Apache Kafka®.

Дополнительно проверяется наличие свободного места в хранилище. Оно должно быть более 5%. При недостатке места хост недоступен на запись.

Принимает значение 1, если хост доступен на запись, 0, если нет.

Имя Тип, единицы измерения	Описание
`kafka_controller_ControllerStats_LeaderElectionRateAndTimeMs` `DGAUGE`, миллисекунды	Смена брокера-лидера за единицу времени, в норме показывает `0`. При проведении технического обслуживания может расти, что не является тревожным сигналом. Дополнительные метки: `quantile`
`kafka_controller_KafkaController_ActiveControllerCount` `DGAUGE`, штуки	Число активных контроллеров.
`kafka_controller_KafkaController_GlobalTopicCount` `DGAUGE`, штуки	Количество топиков.
`kafka_controller_KafkaController_OfflinePartitionsCount` `DGAUGE`, штуки	Число offline-разделов.
`kafka_controller_KafkaController_PreferredReplicaImbalanceCount` `DGAUGE`, штуки	Показатель дисбаланса в желаемом распределении реплик, в норме показывает `0`.
`kafka_group_topic_partition_lag` `DGAUGE`, штуки	Отставание сообщений: разница между смещением и общим числом сообщений раздела.
`kafka_group_topic_partition_offset` `DGAUGE`, штуки	Текущее смещение группы потребителей в разделе.
`kafka_log_Log_LogStartOffset` `DGAUGE`, штуки	Первое смещение в разделе.
`kafka_log_Log_LogEndOffset` `DGAUGE`, штуки	Последнее смещение в разделе.
`kafka_log_Log_Size` `DGAUGE`, байты	Размер раздела на диске.
`kafka_host_count` `DGAUGE`, штуки	Количество хостов в кластере.
`kafka_is_alive` `DGAUGE`, `0`/`1`	Показатель работоспособности брокера. Алгоритм вычисления метрики зависит от наличия высокодоступных топиков (далее HA-топиков) и состояния их лидеров партиций: Если на брокере есть хотя бы один HA-топик, алгоритм проверяет только HA-топики. У каждого HA-топика количество реплик должно быть равно или больше значения `Minimum number of in-sync replicas`. Если на брокере отсутствуют HA-топики, алгоритм проверяет все топики. У каждого топика количество реплик должно быть равно или больше значения `Minimum number of in-sync replicas`. Подробнее о `Minimum number of in-sync replicas` см. в разделе Настройки Apache Kafka®. Принимает значение `1`, если брокер работает, `0`, если нет.
`kafka_network_RequestChannel_RequestQueueSize` `DGAUGE`, штуки	Число запросов в очереди.
`kafka_network_RequestMetrics_Errors` `DGAUGE`, штуки	Число ошибок. Дополнительные метки: `request`
`kafka_network_RequestMetrics_LocalTimeMs` `DGAUGE`, миллисекунды	Время обработки запроса брокером-лидером. Дополнительные метки: `request`, `quantile`
`kafka_network_RequestMetrics_MessageConversionsTimeMs` `DGAUGE`, миллисекунды	Время преобразования формата сообщения. Дополнительные метки: `request`, `quantile`
`kafka_network_RequestMetrics_RemoteTimeMs` `DGAUGE`, миллисекунды	Время ожидания брокера-фолловера. Дополнительные метки: `request`, `quantile`
`kafka_network_RequestMetrics_RequestQueueTimeMs` `DGAUGE`, миллисекунды	Время ожидания в очереди запросов. Дополнительные метки: `request`, `quantile`
`kafka_network_RequestMetrics_Requests` `DGAUGE`, штуки	Число запросов. Дополнительные метки: `request`
`kafka_network_RequestMetrics_ResponseQueueTimeMs` `DGAUGE`, миллисекунды	Время ожидания в очереди на отправку ответа. Дополнительные метки: `request`, `quantile`
`kafka_network_RequestMetrics_ResponseSendTimeMs` `DGAUGE`, миллисекунды	Время отправки ответа. Дополнительные метки: `request`, `quantile`
`kafka_network_RequestMetrics_TotalTimeMs` `DGAUGE`, миллисекунды	Суммарное время выполнения запроса. Дополнительные метки: `request`, `quantile`
`kafka_network_SocketServer_NetworkProcessorAvgIdlePercent` `DGAUGE`, %	Средний показатель простоя сетевого процессора. Значения от `0` (все ресурсы задействованы) до `1` (все ресурсы свободны).
`kafka_server_BrokerTopicMetrics_BytesIn` `DGAUGE`, байты	Входящий размер данных.
`kafka_server_BrokerTopicMetrics_BytesOut` `DGAUGE`, байты	Исходящий размер данных.
`kafka_server_BrokerTopicMetrics_FailedFetchRequests` `DGAUGE`, штуки	Число запросов, полученных с ошибкой.
`kafka_server_BrokerTopicMetrics_FailedProduceRequests` `DGAUGE`, штуки	Число запросов, обработанных с ошибкой.
`kafka_server_BrokerTopicMetrics_MessagesIn` `DGAUGE`, штуки	Число записанных сообщений.
`kafka_server_BrokerTopicMetrics_ReplicationBytesIn` `DGAUGE`, байты	Размер реплицированных данных.
`kafka_server_KafkaRequestHandlerPool_RequestHandlerAvgIdlePercent_count` `DGAUGE`, %	Средний показатель простоя обработчика запросов. Значения от `0` (все ресурсы заняты) до `1` (все ресурсы свободны).
`kafka_server_KafkaServer_BrokerState` `DGAUGE`	Состояние брокера: 0: `Not Running` 1: `Starting` 2: `Recovering from Unclean Shutdown` 3: `Running as Broker` 4: `Running as Controller` 5: `Pending Controlled ShutdownStates` 6: `Broker Shutting Down`
`kafka_server_ReplicaFetcherManager_MaxLag` `DGAUGE`, штуки	Максимальное отставание репликации сообщений между брокером-фолловером и брокером-лидером. Дополнительные метки: `clientId`
`kafka_server_ReplicaManager_LeaderCount` `DGAUGE`, штуки	Число разделов, где брокер является лидером.
`kafka_server_ReplicaManager_OfflineReplicaCount` `DGAUGE`, штуки	Количество разделов, не имеющих брокера-лидера. Такие разделы не позволяют ни запись, ни чтение сообщений.
`kafka_server_ReplicaManager_PartitionCount` `DGAUGE`, штуки	Число разделов для брокера.
`kafka_server_ReplicaManager_ReassigningPartitions` `DGAUGE`, штуки	Число разделов в процессе смены лидера.
`kafka_server_ReplicaManager_UnderMinIsrPartitionCount` `DGAUGE`, штуки	Количество разделов, у которых число синхронизированных реплик меньше минимального допустимого значения, указанного в настройках.
`kafka_server_ReplicaManager_UnderReplicatedPartitions` `DGAUGE`, штуки	Количество разделов, у которых число синхронизированных реплик (in-sync replicas, ISR) меньше фактора репликации.
`kafka_server_ZooKeeperClientMetrics_ZooKeeperRequestLatencyMs` `DGAUGE`, миллисекунды	Задержка запросов в ZooKeeper. Дополнительные метки: `quantile`
`kafka_shard_count` `DGAUGE`, штуки	Количество активных шардов.
`kafka_topic_partition_high_water_mark` `DGAUGE`, штуки	Наибольшее смещение для раздела.
`kafka_topic_partition_low_water_mark` `DGAUGE`, штуки	Наименьшее смещение для раздела.

Метрики Yandex Managed Service for Apache Kafka®

Метрики CPUМетрики CPU

Метрики дискаМетрики диска

Метрики дисковых операцийМетрики дисковых операций

Метрики RAMМетрики RAM

Метрики сетиМетрики сети

Метрики сервисаМетрики сервиса

Прочие метрикиПрочие метрики

Была ли статья полезна?