Метрики Yandex Managed Service for Apache Airflow™

Статья создана

Yandex Cloud

Обновлена 15 ноября 2024 г.

Важно

Функциональность доступна только в регионе Россия.

В этом разделе описаны метрики сервиса Managed Service for Apache Airflow™, поставляемые в Monitoring.

Имя метрики пишется в метку name.

Общие метки для всех метрик сервиса Managed Service for Apache Airflow™:

Метка	Значение
service	Идентификатор сервиса: `managed-airflow`
cluster_id	Идентификатор кластера

Метрики сервиса:

Имя Тип, единицы измерения	Описание Метки
`airflow.dag_processing.file_path_queue_size_value` `GAUGE,` штуки	Количество файлов DAG, которые будут учтены при следующем сканировании.
`airflow.dag_processing.file_path_queue_update_count.value` `COUNTER,` штуки	Количество раз, когда файловая система была сканирована и все существующие DAG были добавлены в очередь.
`airflow.dag_processing.import_errors.value` `GAUGE,` штуки	Количество ошибок при попытке разобрать файлы DAG.
`airflow.dag_processing.total_parse_time.value` `GAUGE,` секунды	Время, потребовавшееся на сканирование и импорт всех файлов DAG, которые будут учтены при следующем сканировании.
`airflow.dagbag_size.value` `GAUGE,` штуки	Количество файлов DAG, найденных при последнем сканировании DAGBag по конфигурации планировщика.
`airflow.dataset.orphaned.value` `GAUGE,` штуки	Количество датасетов, которые были помечены как сироты, потому что они больше не связываются с параметрами расписания DAG или выходными данными задач.
`airflow.job_start.value` `COUNTER`, штуки	Количество запусков различных типов заданий, таких как `SchedulerJob`, `LocalTaskJob` и др.
`airflow.pool.deferred_slots.default_pool.value` `GAUGE,` штуки	Количество отложенных слотов в пулах по умолчанию.
`airflow.pool.deferred_slots.value` `GAUGE,` штуки	Количество отложенных слотов во всех пулах. Метка `pool_name` — имя пула.
`airflow.pool.open_slots.default_pool.value` `GAUGE,` штуки	Количество открытых слотов в пулах по умолчанию.
`airflow.pool.open_slots.value` `GAUGE,` штуки	Количество открытых слотов во всех пулах. Метка `pool_name` — имя пула.
`airflow.pool.queued_slots.default_pool.value` `GAUGE,` штуки	Количество очередных слотов в пулах по умолчанию.
`airflow.pool.queued_slots.value` `GAUGE,` штуки	Количество очередных слотов во всех пулах. Метка `pool_name` — имя пула.
`airflow.pool.running_slots.default_pool.value` `GAUGE,` штуки	Количество работающих слотов в пулах по умолчанию.
`airflow.pool.running_slots.value` `GAUGE,` штуки	Количество работающих слотов во всех пулах. Метка `pool_name` — имя пула.
`airflow.scheduler.critical_section_duration.50_percentile` `TIMING,` миллисекунды	Время, затраченное на критическую секцию цикла планировщика¹. 0.5 процентиль.
`airflow.scheduler.critical_section_duration.95_percentile` `TIMING,` миллисекунды	Время, затраченное на критическую секцию цикла планировщика¹. 0.95 процентиль.
`airflow.scheduler.critical_section_duration.99_percentile` `TIMING,` миллисекунды	Время, затраченное на критическую секцию цикла планировщика¹. 0.99 процентиль.
`airflow.scheduler.critical_section_duration.count` `TIMING,` штуки	Количество измерений времени, затраченного на критическую секцию цикла планировщика¹.
`airflow.scheduler.critical_section_duration.lower` `TIMING,` миллисекунды	Минимальное время, затраченное на критическую секцию цикла планировщика¹.
`airflow.scheduler.critical_section_duration.mean` `TIMING,` миллисекунды	Среднее время, затраченное на критическую секцию цикла планировщика¹.
`airflow.scheduler.critical_section_duration.median` `TIMING,` миллисекунды	Медианное время, затраченное на критическую секцию цикла планировщика¹.
`airflow.scheduler.critical_section_duration.stddev` `TIMING,` миллисекунды	Стандартное отклонение времени, затраченного на критическую секцию цикла планировщика¹.
`airflow.scheduler.critical_section_duration.sum` `TIMING,` миллисекунды	Суммарное время, затраченное на критическую секцию цикла планировщика¹.
`airflow.scheduler.critical_section_duration.upper` `TIMING,` миллисекунды	Максимальное время, затраченное на критическую секцию цикла планировщика¹.
`airflow.scheduler.critical_section_query_duration.50_percentile` `TIMING,` миллисекунды	Время, затраченное на выполнение запроса в критической секции¹. 0.5 процентиль.
`airflow.scheduler.critical_section_query_duration.95_percentile` `TIMING,` миллисекунды	Время, затраченное на выполнение запроса в критической секции¹. 0.95 процентиль.
`airflow.scheduler.critical_section_query_duration.99_percentile` `TIMING,` миллисекунды	Время, затраченное на выполнение запроса в критической секции¹. 0.99 процентиль.
`airflow.scheduler.critical_section_query_duration.count` `TIMING,` штуки	Количество измерений времени, затраченного на выполнение запроса в критической секции¹.
`airflow.scheduler.critical_section_query_duration.lower` `TIMING,` миллисекунды	Минимальное время, затраченное на выполнение запроса в критической секции¹.
`airflow.scheduler.critical_section_query_duration.mean` `TIMING,` миллисекунды	Среднее время, затраченное на выполнение запроса в критической секции¹.
`airflow.scheduler.critical_section_query_duration.median` `TIMING,` миллисекунды	Медианное время, затраченное на выполнение запроса в критической секции¹.
`airflow.scheduler.critical_section_query_duration.stddev` `TIMING,` миллисекунды	Стандартное отклонение времени, затраченного на выполнение запроса в критической секции¹.
`airflow.scheduler.critical_section_query_duration.sum` `TIMING,` миллисекунды	Суммарное время, затраченное на выполнение запроса в критической секции¹.
`airflow.scheduler.critical_section_query_duration.upper` `TIMING,` миллисекунды	Максимальное время, затраченное на выполнение запроса в критической секции¹.
`airflow.scheduler.heartbeat.value` `COUNTER,` штуки	Количество heartbeat-сообщений планировщика, указывающих на его активность.
`airflow.scheduler.load_serializers.50_percentile` `TIMING,` миллисекунды	Время, затраченное на сериализацию данных в планировщике². 0.5 процентиль.
`airflow.scheduler.load_serializers.95_percentile` `TIMING,` миллисекунды	Время, затраченное на сериализацию данных в планировщике². 0.95 процентиль.
`airflow.scheduler.load_serializers.99_percentile` `TIMING,` миллисекунды	Время, затраченное на сериализацию данных в планировщике². 0.99 процентиль.
`airflow.scheduler.load_serializers.count` `TIMING,` штуки	Количество измерений времени, затраченного на сериализацию данных в планировщике².
`airflow.scheduler.load_serializers.lower` `TIMING,` миллисекунды	Минимальное время, затраченное на сериализацию данных в планировщике².
`airflow.scheduler.load_serializers.mean` `TIMING,` миллисекунды	Среднее время, затраченное на сериализацию данных в планировщике².
`airflow.scheduler.load_serializers.median` `TIMING,` миллисекунды	Медианное время, затраченное на сериализацию данных в планировщике².
`airflow.scheduler.load_serializers.stddev` `TIMING,` миллисекунды	Стандартное отклонение времени, затраченного на сериализацию данных в планировщике².
`airflow.scheduler.load_serializers.sum` `TIMING,` миллисекунды	Суммарное время, затраченное на сериализацию данных в планировщике².
`airflow.scheduler.load_serializers.upper` `TIMING,` миллисекунды	Максимальное время, затраченное на сериализацию данных в планировщике².
`airflow.scheduler.orphaned_tasks.adopted.value` `COUNTER,` штуки	Количество усыновленных планировщиком задач, которые были помечены как сироты.
`airflow.scheduler.orphaned_tasks.cleared.value` `COUNTER,` штуки	Количество очищенных планировщиком задач, которые были помечены как сироты.
`airflow.scheduler.scheduler_loop_duration.50_percentile` `TIMING,` миллисекунды	Время, затраченное на выполнение одного цикла планировщика. 0.5 процентиль.
`airflow.scheduler.scheduler_loop_duration.95_percentile` `TIMING,` миллисекунды	Время, затраченное на выполнение одного цикла планировщика. 0.95 процентиль.
`airflow.scheduler.scheduler_loop_duration.99_percentile` `TIMING,` миллисекунды	Время, затраченное на выполнение одного цикла планировщика. 0.99 процентиль.
`airflow.scheduler.scheduler_loop_duration.count` `TIMING,` штуки	Количество измерений времени, затраченного на выполнение одного цикла планировщика.
`airflow.scheduler.scheduler_loop_duration.lower` `TIMING,` миллисекунды	Минимальное время, затраченное на выполнение одного цикла планировщика.
`airflow.scheduler.scheduler_loop_duration.mean` `TIMING,` миллисекунды	Среднее время, затраченное на выполнение одного цикла планировщика.
`airflow.scheduler.scheduler_loop_duration.median` `TIMING,` миллисекунды	Медианное время, затраченное на выполнение одного цикла планировщика.
`airflow.scheduler.scheduler_loop_duration.stddev` `TIMING,` миллисекунды	Стандартное отклонение времени, затраченного на выполнение одного цикла планировщика.
`airflow.scheduler.scheduler_loop_duration.sum` `TIMING,` миллисекунды	Суммарное время, затраченное на выполнение одного цикла планировщика.
`airflow.scheduler.scheduler_loop_duration.upper` `TIMING,` миллисекунды	Максимальное время, затраченное на выполнение одного цикла планировщика.
`airflow.scheduler.tasks.executable.value` `GAUGE,` штуки	Количество задач, готовых к выполнению в соответствии с ограничениями пула, конкурентности DAG, состояния исполнителя и приоритетов.
`airflow.scheduler.tasks.starving.value` `GAUGE,` штуки	Количество задач, которые не могут быть запланированы из-за отсутствия свободного слота в пуле.
`CeleryExecutor` `GAUGE,` штуки	Количество воркеров Celery на разных стадиях выполнения задач. Значение метки `status` означает количество воркеров, которые: `open` — готовы к получению задачи. `queued` — получили задачи, но еще не начали выполнение. `running` — выполняют задачи.

¹ Только один планировщик может одновременно войти в этот цикл.
² Процесс сериализации данных для обмена между задачами и для безопасности веб-сервера и планировщика.

Метрики Yandex Managed Service for Apache Airflow™

Была ли статья полезна?