Метрики Yandex Data Processing
Статья создана
Обновлена 16 декабря 2024 г.
В этом разделе описаны метрики сервиса Yandex Data Processing, поставляемые в Monitoring.
Имя метрики пишется в метку name.
Общие метки для всех метрик сервиса Yandex Data Processing:
| Метка | Значение |
|---|---|
| service | Идентификатор сервиса: data-proc |
| resource_type | Тип ресурса: cluster |
| resource_id | Идентификатор кластера |
| zone_id | Зона размещения |
| host | FQDN хоста |
Метрики HDFS
| Имя Тип, единицы измерения |
Описание |
|---|---|
dfs.cluster.Free_bytesDGAUGE, байты |
Доступное место на HDFS. |
dfs.cluster.NonDfsUsedSpace_bytesDGAUGE, байты |
Место, используемое подкластерами хранения данных (DataNode), недоступное для HDFS. |
dfs.cluster.PercentRemainingDGAUGE, % |
Доступное место на HDFS. |
dfs.cluster.PercentUsedDGAUGE, % |
Использованное место на HDFS. |
dfs.cluster.Total_bytesDGAUGE, байты |
Размер HDFS. |
dfs.cluster.Used_bytesDGAUGE, байты |
Использованное место на HDFS. |
Метрики дисков
| Имя Тип, единицы измерения |
Описание |
|---|---|
system.disk.free_bytesDGAUGE, байты |
Доступное место в системном хранилище. |
system.disk.inodes_freeDGAUGE, штуки |
Число свободных индексных дескриптеров. |
system.disk.inodes_totalDGAUGE, штуки |
Общее число индексных дескрипторов. |
system.disk.inodes_usedDGAUGE, штуки |
Число использованных индексных дескрипторов. |
system.disk.inodes_used_percentDGAUGE, % |
Процент использованных индексных дескрипторов. |
system.disk.total_bytesDGAUGE, байты |
Размер системного хранилища. |
system.disk.used_bytesDGAUGE, байты |
Использованное место на диске. |
system.disk.used_percentDGAUGE, % |
Использованное место на диске. |
Метрики YARN
| Имя Тип, единицы измерения |
Описание |
|---|---|
yarn.cluster.activeNodesDGAUGE, штуки |
Число активных нод. |
yarn.cluster.allocatedMBDGAUGE, мегабайты |
Размер выделенной памяти. |
yarn.cluster.allocatedVirtualCoresDGAUGE, штуки |
Число выделенных виртуальных ядер. |
yarn.cluster.appsCompletedDGAUGE, штуки |
Успешно завершенные приложения. |
yarn.cluster.appsFailedDGAUGE, штуки |
Неуспешно завершенные приложения. |
yarn.cluster.appsKilledDGAUGE, штуки |
Прерванные приложения. |
yarn.cluster.appsPendingDGAUGE, штуки |
Приложения в очереди. |
yarn.cluster.appsRunningDGAUGE, штуки |
Работающие приложения. |
yarn.cluster.appsSubmittedDGAUGE, штуки |
Запущенные приложения. |
yarn.cluster.availableMBDGAUGE, мегабайты |
Размер доступной памяти. |
yarn.cluster.availableVirtualCoresDGAUGE, штуки |
Число доступных виртуальных ядер. |
yarn.cluster.containersAllocatedDGAUGE, штуки |
Число выделенных контейнеров. |
yarn.cluster.containersPendingDGAUGE, штуки |
Число контейнеров в очереди. |
yarn.cluster.containersReservedDGAUGE, штуки |
Число зарезервированных контейнеров. |
yarn.cluster.decommissionedNodesDGAUGE, штуки |
Число выведенных из эксплуатации. |
yarn.cluster.decommissioningNodesDGAUGE, штуки |
Ноды в процессе выведения из эксплуатации. |
yarn.cluster.lostNodesDGAUGE, штуки |
Число потерянных нод. |
yarn.cluster.rebootedNodesDGAUGE, штуки |
Число перезагруженных нод. |
yarn.cluster.reservedMBDGAUGE, мегабайты |
Зарезервированная память. |
yarn.cluster.reservedVirtualCoresDGAUGE, штуки |
Число зарезервированных виртуальных ядер. |
yarn.cluster.shutdownNodesDGAUGE, штуки |
Число выключенных нод. |
yarn.cluster.totalAllocatedContainersAcrossPartitionDGAUGE, штуки |
Выделенные контейнеры в партициях. |
yarn.cluster.totalMBDGAUGE, мегабайты |
Общий размер памяти. |
yarn.cluster.totalNodesDGAUGE, штуки |
Общее число нод. |
yarn.cluster.totalReservedResourcesAcrossPartition_memoryDGAUGE |
Зарезервированная память во всех партициях. |
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_0_maximumAllocationDGAUGE |
Максимальный объем зарезервированных ресурсов типа 0 во всех партициях. |
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_0_minimumAllocationDGAUGE |
Минимальный объем зарезервированных ресурсов типа 0 во всех партициях. |
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_0_valueDGAUGE |
Текущий объем зарезервированных ресурсов типа 0 во всех партициях. |
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_1_maximumAllocationDGAUGE |
Максимальный объем зарезервированных ресурсов типа 1 во всех партициях. |
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_1_minimumAllocationDGAUGE |
Минимальный объем зарезервированных ресурсов типа 1 во всех партициях. |
yarn.cluster.totalReservedResourcesAcrossPartition_resourceInformations_resourceInformation_1_valueDGAUGE |
Текущий объем зарезервированных ресурсов типа 1 во всех партициях. |
yarn.cluster.totalReservedResourcesAcrossPartition_vCoresDGAUGE, штуки |
Зарезервированные виртуальные ядра во всех партициях. |
yarn.cluster.totalVirtualCoresDGAUGE, штуки |
Общее число виртуальных ядер. |
yarn.cluster.unhealthyNodesDGAUGE, штуки |
Ноды в опасном состоянии. |
yarn.cluster.utilizedMBPercentDGAUGE, % |
Утилизация памяти. |
yarn.cluster.utilizedVirtualCoresPercentDGAUGE, % |
Утилизация виртуальных ядер. |
Прочие метрики
| Имя Тип, единицы измерения |
Описание |
|---|---|
dataproc.cluster.health_statusIGAUGE, 0/1/2 |
Уровень работоспособности и техническое состояние кластера:0 — Кластер неработоспособен: все его хосты не работают.1 — Кластер работает не на полную мощность: минимум один из хостов имеет состояние, отличное от ALIVE.2 — Кластер работает в штатном режиме. |
dataproc.cluster.neededAutoscalingNodesNumberDGAUGE, штуки |
Метрика сервиса Yandex Data Processing для масштабирования по умолчанию. |