Связаться с намиПодключиться

Метрики Yandex Data Processing

Статья создана
Улучшена
Обновлена 26 июня 2024 г.

В этом разделе описаны метрики сервиса Yandex Data Processing, поставляемые в Monitoring.

Имя метрики пишется в метку name.

Общие метки для всех метрик сервиса Yandex Data Processing:

Метка Значение
service Идентификатор сервиса: data-proc
resource_type Тип ресурса: cluster
resource_id Идентификатор кластера
zone_id Зона размещения
host FQDN хоста

Метрики HDFS

Имя
Тип, единицы измерения		 Описание
dfs.cluster.Free_bytes
DGAUGE, байты		 Доступное место на HDFS.
dfs.cluster.NonDfsUsedSpace_bytes
DGAUGE, байты		 Место, используемое подкластерами хранения данных (DataNode), недоступное для HDFS.
dfs.cluster.PercentRemaining
DGAUGE, %		 Доступное место на HDFS.
dfs.cluster.PercentUsed
DGAUGE, %		 Использованное место на HDFS.
dfs.cluster.Total_bytes
DGAUGE, байты		 Размер HDFS.
dfs.cluster.Used_bytes
DGAUGE, байты		 Использованное место на HDFS.

Метрики дисков

Имя
Тип, единицы измерения		 Описание
system.disk.free_bytes
DGAUGE, байты		 Доступное место в системном хранилище.
system.disk.inodes_free
DGAUGE, штуки		 Число свободных индексных дескриптеров.
system.disk.inodes_total
DGAUGE, штуки		 Общее число индексных дескрипторов.
system.disk.inodes_used
DGAUGE, штуки		 Число использованных индексных дескрипторов.
system.disk.inodes_used_percent
DGAUGE, %		 Процент использованных индексных дескрипторов.
system.disk.total_bytes
DGAUGE, байты		 Размер системного хранилища.
system.disk.used_bytes
DGAUGE, байты		 Использованное место на диске.
system.disk.used_percent
DGAUGE, %		 Использованное место на диске.

Метрики YARN

Имя
Тип, единицы измерения		 Описание
yarn.cluster.activeNodes
DGAUGE, штуки		 Число активных нод.
yarn.cluster.allocatedMB
DGAUGE, мегабайты		 Размер выделенной памяти.
yarn.cluster.allocatedVirtualCores
DGAUGE, штуки		 Число выделенных виртуальных ядер.
yarn.cluster.appsCompleted
DGAUGE, штуки		 Успешно завершенные приложения.
yarn.cluster.appsFailed
DGAUGE, штуки		 Неуспешно завершенные приложения.
yarn.cluster.appsKilled
DGAUGE, штуки		 Прерванные приложения.
yarn.cluster.appsPending
DGAUGE, штуки		 Приложения в очереди.
yarn.cluster.appsRunning
DGAUGE, штуки		 Работающие приложения.
yarn.cluster.appsSubmitted
DGAUGE, штуки		 Запущенные приложения.
yarn.cluster.availableMB
DGAUGE, мегабайты		 Размер доступной памяти.
yarn.cluster.availableVirtualCores
DGAUGE, штуки		 Число доступных виртуальных ядер.
yarn.cluster.containersAllocated
DGAUGE, штуки		 Число выделенных контейнеров.
yarn.cluster.containersPending
DGAUGE, штуки		 Число контейнеров в очереди.
yarn.cluster.containersReserved
DGAUGE, штуки		 Число зарезервированных контейнеров.
yarn.cluster.decommissionedNodes
DGAUGE, штуки		 Число выведенных из эксплуатации.
yarn.cluster.decommissioningNodes
DGAUGE, штуки		 Ноды в процессе выведения из эксплуатации.
yarn.cluster.lostNodes
DGAUGE, штуки		 Число потерянных нод.
yarn.cluster.rebootedNodes
DGAUGE, штуки		 Число перезагруженных нод.
yarn.cluster.reservedMB
DGAUGE, мегабайты		 Зарезервированная память.
yarn.cluster.reservedVirtualCores
DGAUGE, штуки		 Число зарезервированных виртуальных ядер.
yarn.cluster.shutdownNodes
DGAUGE, штуки		 Число выключенных нод.
yarn.cluster.totalAllocatedContainersAcrossPartition
DGAUGE, штуки		 Выделенные контейнеры в партициях.
yarn.cluster.totalMB
DGAUGE, мегабайты		 Общий размер памяти.
yarn.cluster.totalNodes
DGAUGE, штуки		 Общее число нод.
yarn.cluster.totalReservedResourcesAcrossPartition_memory
DGAUGE		 Зарезервированная память во всех партициях.
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_0_maximumAllocation
DGAUGE		 Максимальный объем зарезервированных ресурсов типа 0 во всех партициях.
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_0_minimumAllocation
DGAUGE		 Минимальный объем зарезервированных ресурсов типа 0 во всех партициях.
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_0_value
DGAUGE		 Текущий объем зарезервированных ресурсов типа 0 во всех партициях.
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_1_maximumAllocation
DGAUGE		 Максимальный объем зарезервированных ресурсов типа 1 во всех партициях.
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_1_minimumAllocation
DGAUGE		 Минимальный объем зарезервированных ресурсов типа 1 во всех партициях.
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_1_value
DGAUGE		 Текущий объем зарезервированных ресурсов типа 1 во всех партициях.
yarn.cluster.totalReservedResourcesAcrossPartition_vCores
DGAUGE, штуки		 Зарезервированные виртуальные ядра во всех партициях.
yarn.cluster.totalVirtualCores
DGAUGE, штуки		 Общее число виртуальных ядер.
yarn.cluster.unhealthyNodes
DGAUGE, штуки		 Ноды в опасном состоянии.
yarn.cluster.utilizedMBPercent
DGAUGE, %		 Утилизация памяти.
yarn.cluster.utilizedVirtualCoresPercent
DGAUGE, %		 Утилизация виртуальных ядер.

Прочие метрики

Имя
Тип, единицы измерения		 Описание
dataproc.cluster.health_status
IGAUGE, 0/1/2		 Уровень работоспособности и техническое состояние кластера:
0 — Кластер неработоспособен: все его хосты не работают.
1 — Кластер работает не на полную мощность: минимум один из хостов имеет состояние, отличное от ALIVE.
2 — Кластер работает в штатном режиме.
dataproc.cluster.neededAutoscalingNodesNumber
DGAUGE, штуки		 Метрика сервиса Yandex Data Processing для масштабирования по умолчанию.
Предыдущая
Container Registry
Следующая
Data Transfer