Метрики Yandex Managed Service for Apache Kafka®
Статья создана
Обновлена 15 марта 2024 г.
В этом разделе описаны метрики сервиса Managed Service for Apache Kafka®, поставляемые в Monitoring.
Имя метрики пишется в метку name
.
Общие метки для всех метрик сервиса Managed Service for Apache Kafka®:
Метка | Значение |
---|---|
service | Идентификатор сервиса: managed-kafka |
resource_type | Тип ресурса: cluster |
resource_id | Идентификатор кластера |
host | FQDN хоста |
node | Тип брокера: leader , follower , replica |
subcluster_name | Тип подкластера: zookeeper_subcluster , kafka_subcluster |
Метрики CPU
Загрузка процессорных ядер.
Имя Тип, единицы измерения |
Описание |
---|---|
cpu.fraction DGAUGE , % |
Гарантированная доля vCPU. |
cpu.guarantee DGAUGE , штуки |
Гарантированное число ядер. |
cpu.limit DGAUGE , штуки |
Предельное число используемых ядер. |
cpu.guest DGAUGE , % |
Использование процессорных ядер, тип потребления guest . |
cpu.idle DGAUGE , % |
Использование процессорных ядер, тип потребления idle . |
cpu.iowait DGAUGE , % |
Использование процессорных ядер, тип потребления iowait . |
cpu.irq DGAUGE , % |
Использование процессорных ядер, тип потребления irq . |
cpu.nice DGAUGE , % |
Использование процессорных ядер, тип потребления nice . |
cpu.softirq DGAUGE , % |
Использование процессорных ядер, тип потребления softirq . |
cpu.steal DGAUGE , % |
Использование процессорных ядер, тип потребления steal . |
cpu.system DGAUGE , % |
Использование процессорных ядер, тип потребления system . |
cpu.user DGAUGE , % |
Использование процессорных ядер, тип потребления user . |
load.avg_15min DGAUGE , % |
Средняя нагрузка за 15 минут. |
load.avg_1min DGAUGE , % |
Средняя нагрузка за 1 минуту. |
load.avg_5min DGAUGE , % |
Средняя нагрузка за 5 минут. |
Метрики диска
Имя Тип, единицы измерения |
Описание |
---|---|
disk.free_bytes DGAUGE , байты |
Свободное место. |
disk.free_inodes DGAUGE , штуки |
Свободное количество inodes. |
disk.total_bytes DGAUGE , байты |
Доступное место. |
disk.total_inodes DGAUGE , штуки |
Доступное количество inodes. |
disk.used_bytes DGAUGE , байты |
Занятое место. |
disk.used_inodes DGAUGE , штуки |
Занятое количество inodes. |
Метрики дисковых операций
Имя Тип, единицы измерения |
Описание |
---|---|
io.avg_read_time DGAUGE , миллисекунды |
Среднее время чтения с дисков. |
io.avg_write_time DGAUGE , миллисекунды |
Среднее время записи на диски. |
io.disk*.avg_read_time DGAUGE , миллисекунды |
Среднее время чтения с конкретного диска. |
io.disk*.avg_write_time DGAUGE , миллисекунды |
Среднее время записи на конкретный диск. |
io.disk*.read_bytes DGAUGE , байт/с |
Скорость чтения с конкретного диска. |
io.disk*.read_count DGAUGE , операций/с |
Количество операций чтения с конкретного диска в секунду. |
io.disk*.read_merged_count DGAUGE , операций/с |
Количество слитых операций чтения с конкретного диска в секунду. |
io.disk*.utilization DGAUGE , % |
Использование конкретного диска. Не работает для сетевых дисков. |
io.disk*.write_bytes DGAUGE , байт/с |
Скорость записи на конкретный диск. |
io.disk*.write_count DGAUGE , операций/с |
Количество операций записи на конкретный диск в секунду. |
io.disk*.write_merged_count DGAUGE , операций/с |
Количество слитых операций записи на конкретный диск в секунду. |
io.read_bytes DGAUGE , байт/с |
Скорость чтения с дисков. |
io.read_count DGAUGE , операций/с |
Количество операций чтения в секунду. |
io.read_merged_count DGAUGE , операций/с |
Количество слитых операций чтения в секунду. |
io.utilization DGAUGE , % |
Использование дисков. |
io.write_bytes DGAUGE , байт/с |
Скорость записи на диски. |
io.write_count DGAUGE , операций/с |
Количество операций записи в секунду. |
io.write_merged_count DGAUGE , операций/с |
Количество слитых операций записи в секунду. |
Метрики RAM
Имя Тип, единицы измерения |
Описание |
---|---|
mem.guarantee_bytes DGAUGE , байты |
Гарантированный размер оперативной памяти. |
mem.limit_bytes DGAUGE , байты |
Предельный размер оперативной памяти. |
mem.active_bytes DGAUGE , байты |
Объем оперативной памяти, которая используется наиболее часто и освобождается только в крайнем случае. |
mem.available_bytes DGAUGE , байты |
Использование оперативной памяти, тип потребления available . |
mem.buffers_bytes DGAUGE , байты |
Использование оперативной памяти, тип потребления buffers . |
mem.cached_bytes DGAUGE , байты |
Использование оперативной памяти, тип потребления cached . |
mem.free_bytes DGAUGE , байты |
Объем свободной оперативной памяти, доступной для использования, без учета mem.buffers_bytes и mem.cached_bytes . |
mem.shared_bytes DGAUGE , байты |
Использование оперативной памяти, тип потребления shared . |
mem.total_bytes DGAUGE , байты |
Использование оперативной памяти, тип потребления total . |
mem.used_bytes DGAUGE , байты |
Объем оперативной памяти, которую в данный момент используют запущенные процессы. |
Метрики сети
Имя Тип, единицы измерения |
Описание |
---|---|
net.bytes_recv DGAUGE , байт/с |
Скорость получения данных по сети. |
net.bytes_sent DGAUGE , байт/с |
Скорость отправки данных по сети. |
net.dropin DGAUGE , штуки |
Количество пакетов, отброшенных при получении. |
net.dropout DGAUGE , штуки |
Количество пакетов, отброшенных при отправке. |
net.errin DGAUGE , штуки |
Количество ошибок при получении. |
net.errout DGAUGE , штуки |
Количество ошибок при отправке. |
net.packets_recv DGAUGE , пакетов/с |
Интенсивность получения данных по сети. |
net.packets_sent DGAUGE , пакетов/с |
Интенсивность отправки данных по сети. |
Метрики сервиса
Имя Тип, единицы измерения |
Описание |
---|---|
kafka_controller_ControllerStats_LeaderElectionRateAndTimeMs DGAUGE , миллисекунды |
Смена брокера-лидера за единицу времени, в норме показывает 0. При проведении технического обслуживания может расти, что не является тревожным сигналом. Дополнительные метки: quantile |
kafka_controller_KafkaController_ActiveControllerCount DGAUGE , штуки |
Число активных контроллеров. |
kafka_controller_KafkaController_GlobalTopicCount DGAUGE , штуки |
Количество топиков. |
kafka_controller_KafkaController_OfflinePartitionsCount DGAUGE , штуки |
Число offline разделов. |
kafka_controller_KafkaController_PreferredReplicaImbalanceCount DGAUGE , штуки |
Показатель дисбаланса в желаемом распределении реплик, в норме показывает 0 . |
kafka_group_topic_partition_lag DGAUGE , штуки |
Отставание сообщений: разница между смещением и общим числом сообщений раздела. |
kafka_group_topic_partition_offset DGAUGE , штуки |
Смещение раздела. |
kafka_host_count DGAUGE , штуки |
Количество хостов в кластере. |
kafka_is_alive DGAUGE , 0/1 |
Показатель работоспособности брокера. Принимает значение 1 , если брокер работает, 0 , если нет. |
kafka_network_RequestChannel_RequestQueueSize DGAUGE , штуки |
Число запросов в очереди. |
kafka_network_RequestMetrics_Errors DGAUGE , штуки |
Число ошибок. Дополнительные метки: request |
kafka_network_RequestMetrics_LocalTimeMs DGAUGE , миллисекунды |
Время обработки запроса брокером-лидером. Дополнительные метки: request , quantile |
kafka_network_RequestMetrics_MessageConversionsTimeMs DGAUGE , миллисекунды |
Время преобразования формата сообщения. Дополнительные метки: request , quantile |
kafka_network_RequestMetrics_RemoteTimeMs DGAUGE , миллисекунды |
Время ожидания брокера-фолловера. Дополнительные метки: request , quantile |
kafka_network_RequestMetrics_RequestQueueTimeMs DGAUGE , миллисекунды |
Время ожидания в очереди запросов. Дополнительные метки: request , quantile |
kafka_network_RequestMetrics_Requests DGAUGE , штуки |
Число запросов. Дополнительные метки: request |
kafka_network_RequestMetrics_ResponseQueueTimeMs DGAUGE , миллисекунды |
Время ожидания в очереди на отправку ответа. Дополнительные метки: request , quantile |
kafka_network_RequestMetrics_ResponseSendTimeMs DGAUGE , миллисекунды |
Время отправки ответа. Дополнительные метки: request , quantile |
kafka_network_RequestMetrics_TotalTimeMs DGAUGE , миллисекунды |
Суммарное время выполнения запроса. Дополнительные метки: request , quantile |
kafka_network_SocketServer_NetworkProcessorAvgIdlePercent DGAUGE , % |
Средний показатель простоя сетевого процессора. Значения от 0 (все ресурсы задействованы) до 1 (все ресурсы свободны). |
kafka_server_BrokerTopicMetrics_BytesIn DGAUGE , байты |
Входящий размер данных. |
kafka_server_BrokerTopicMetrics_BytesOut DGAUGE , байты |
Исходящий размер данных. |
kafka_server_BrokerTopicMetrics_FailedFetchRequests DGAUGE , штуки |
Число запросов, полученных с ошибкой. |
kafka_server_BrokerTopicMetrics_FailedProduceRequests DGAUGE , штуки |
Число запросов, обработанных с ошибкой. |
kafka_server_BrokerTopicMetrics_MessagesIn DGAUGE , штуки |
Число записанных сообщений. |
kafka_server_BrokerTopicMetrics_ReplicationBytesIn DGAUGE , байты |
Размер реплицированных данных. |
kafka_server_KafkaRequestHandlerPool_RequestHandlerAvgIdlePercent_count DGAUGE , % |
Средний показатель простоя обработчика запросов. Значения от 0 (все ресурсы заняты) до 1 (все ресурсы свободны). |
kafka_server_KafkaServer_BrokerState DGAUGE |
Состояние брокера: 0: Not Running 1: Starting 2: Recovering from Unclean Shutdown 3: Running as Broker 4: Running as Controller 5: Pending Controlled ShutdownStates 6: Broker Shutting Down |
kafka_server_ReplicaFetcherManager_MaxLag DGAUGE , штуки |
Максимальное отставание репликации сообщений между брокером-фолловером и брокером-лидером. Дополнительные метки: clientId |
kafka_server_ReplicaManager_LeaderCount DGAUGE , штуки |
Число разделов, где брокер является лидером. |
kafka_server_ReplicaManager_OfflineReplicaCount DGAUGE , штуки |
Количество разделов, не имеющих брокера-лидера. Такие разделы не позволяют ни запись, ни чтение сообщений. |
kafka_server_ReplicaManager_PartitionCount DGAUGE , штуки |
Число разделов для брокера. |
kafka_server_ReplicaManager_ReassigningPartitions DGAUGE , штуки |
Число разделов в процессе смены лидера. |
kafka_server_ReplicaManager_UnderMinIsrPartitionCount DGAUGE , штуки |
Количество разделов, у которых число синхронизированных реплик меньше минимального допустимого значения, указанного в настройках. |
kafka_server_ReplicaManager_UnderReplicatedPartitions DGAUGE , штуки |
Количество разделов, у которых число синхронизированных реплик (in-sync replicas, ISR) меньше фактора репликации. |
kafka_server_ZooKeeperClientMetrics_ZooKeeperRequestLatencyMs DGAUGE , миллисекунды |
Задержка запросов в ZooKeeper. Дополнительные метки: quantile |
kafka_shard_count DGAUGE , штуки |
Количество активных шардов. |