Метрики Yandex Managed Service for Apache Airflow™
Статья создана
Обновлена 15 ноября 2024 г.
В этом разделе описаны метрики сервиса Managed Service for Apache Airflow™, поставляемые в Monitoring.
Имя метрики пишется в метку name
.
Общие метки для всех метрик сервиса Managed Service for Apache Airflow™:
Метка | Значение |
---|---|
service | Идентификатор сервиса: managed-airflow |
cluster_id | Идентификатор кластера |
Метрики сервиса:
Имя Тип, единицы измерения |
Описание Метки |
---|---|
airflow.dag_processing.file_path_queue_size_value GAUGE, штуки |
Количество файлов DAG, которые будут учтены при следующем сканировании. |
airflow.dag_processing.file_path_queue_update_count.value COUNTER, штуки |
Количество раз, когда файловая система была сканирована и все существующие DAG были добавлены в очередь. |
airflow.dag_processing.import_errors.value GAUGE, штуки |
Количество ошибок при попытке разобрать файлы DAG. |
airflow.dag_processing.total_parse_time.value GAUGE, секунды |
Время, потребовавшееся на сканирование и импорт всех файлов DAG, которые будут учтены при следующем сканировании. |
airflow.dagbag_size.value GAUGE, штуки |
Количество файлов DAG, найденных при последнем сканировании DAGBag по конфигурации планировщика. |
airflow.dataset.orphaned.value GAUGE, штуки |
Количество датасетов, которые были помечены как сироты, потому что они больше не связываются с параметрами расписания DAG или выходными данными задач. |
airflow.job_start.value COUNTER , штуки |
Количество запусков различных типов заданий, таких как SchedulerJob , LocalTaskJob и др. |
airflow.pool.deferred_slots.default_pool.value GAUGE, штуки |
Количество отложенных слотов в пулах по умолчанию. |
airflow.pool.deferred_slots.value GAUGE, штуки |
Количество отложенных слотов во всех пулах. Метка pool_name — имя пула. |
airflow.pool.open_slots.default_pool.value GAUGE, штуки |
Количество открытых слотов в пулах по умолчанию. |
airflow.pool.open_slots.value GAUGE, штуки |
Количество открытых слотов во всех пулах. Метка pool_name — имя пула. |
airflow.pool.queued_slots.default_pool.value GAUGE, штуки |
Количество очередных слотов в пулах по умолчанию. |
airflow.pool.queued_slots.value GAUGE, штуки |
Количество очередных слотов во всех пулах. Метка pool_name — имя пула. |
airflow.pool.running_slots.default_pool.value GAUGE, штуки |
Количество работающих слотов в пулах по умолчанию. |
airflow.pool.running_slots.value GAUGE, штуки |
Количество работающих слотов во всех пулах. Метка pool_name — имя пула. |
airflow.scheduler.critical_section_duration.50_percentile TIMING, миллисекунды |
Время, затраченное на критическую секцию цикла планировщика1. 0.5 процентиль. |
airflow.scheduler.critical_section_duration.95_percentile TIMING, миллисекунды |
Время, затраченное на критическую секцию цикла планировщика1. 0.95 процентиль. |
airflow.scheduler.critical_section_duration.99_percentile TIMING, миллисекунды |
Время, затраченное на критическую секцию цикла планировщика1. 0.99 процентиль. |
airflow.scheduler.critical_section_duration.count TIMING, штуки |
Количество измерений времени, затраченного на критическую секцию цикла планировщика1. |
airflow.scheduler.critical_section_duration.lower TIMING, миллисекунды |
Минимальное время, затраченное на критическую секцию цикла планировщика1. |
airflow.scheduler.critical_section_duration.mean TIMING, миллисекунды |
Среднее время, затраченное на критическую секцию цикла планировщика1. |
airflow.scheduler.critical_section_duration.median TIMING, миллисекунды |
Медианное время, затраченное на критическую секцию цикла планировщика1. |
airflow.scheduler.critical_section_duration.stddev TIMING, миллисекунды |
Стандартное отклонение времени, затраченного на критическую секцию цикла планировщика1. |
airflow.scheduler.critical_section_duration.sum TIMING, миллисекунды |
Суммарное время, затраченное на критическую секцию цикла планировщика1. |
airflow.scheduler.critical_section_duration.upper TIMING, миллисекунды |
Максимальное время, затраченное на критическую секцию цикла планировщика1. |
airflow.scheduler.critical_section_query_duration.50_percentile TIMING, миллисекунды |
Время, затраченное на выполнение запроса в критической секции1. 0.5 процентиль. |
airflow.scheduler.critical_section_query_duration.95_percentile TIMING, миллисекунды |
Время, затраченное на выполнение запроса в критической секции1. 0.95 процентиль. |
airflow.scheduler.critical_section_query_duration.99_percentile TIMING, миллисекунды |
Время, затраченное на выполнение запроса в критической секции1. 0.99 процентиль. |
airflow.scheduler.critical_section_query_duration.count TIMING, штуки |
Количество измерений времени, затраченного на выполнение запроса в критической секции1. |
airflow.scheduler.critical_section_query_duration.lower TIMING, миллисекунды |
Минимальное время, затраченное на выполнение запроса в критической секции1. |
airflow.scheduler.critical_section_query_duration.mean TIMING, миллисекунды |
Среднее время, затраченное на выполнение запроса в критической секции1. |
airflow.scheduler.critical_section_query_duration.median TIMING, миллисекунды |
Медианное время, затраченное на выполнение запроса в критической секции1. |
airflow.scheduler.critical_section_query_duration.stddev TIMING, миллисекунды |
Стандартное отклонение времени, затраченного на выполнение запроса в критической секции1. |
airflow.scheduler.critical_section_query_duration.sum TIMING, миллисекунды |
Суммарное время, затраченное на выполнение запроса в критической секции1. |
airflow.scheduler.critical_section_query_duration.upper TIMING, миллисекунды |
Максимальное время, затраченное на выполнение запроса в критической секции1. |
airflow.scheduler.heartbeat.value COUNTER, штуки |
Количество heartbeat-сообщений планировщика, указывающих на его активность. |
airflow.scheduler.load_serializers.50_percentile TIMING, миллисекунды |
Время, затраченное на сериализацию данных в планировщике2. 0.5 процентиль. |
airflow.scheduler.load_serializers.95_percentile TIMING, миллисекунды |
Время, затраченное на сериализацию данных в планировщике2. 0.95 процентиль. |
airflow.scheduler.load_serializers.99_percentile TIMING, миллисекунды |
Время, затраченное на сериализацию данных в планировщике2. 0.99 процентиль. |
airflow.scheduler.load_serializers.count TIMING, штуки |
Количество измерений времени, затраченного на сериализацию данных в планировщике2. |
airflow.scheduler.load_serializers.lower TIMING, миллисекунды |
Минимальное время, затраченное на сериализацию данных в планировщике2. |
airflow.scheduler.load_serializers.mean TIMING, миллисекунды |
Среднее время, затраченное на сериализацию данных в планировщике2. |
airflow.scheduler.load_serializers.median TIMING, миллисекунды |
Медианное время, затраченное на сериализацию данных в планировщике2. |
airflow.scheduler.load_serializers.stddev TIMING, миллисекунды |
Стандартное отклонение времени, затраченного на сериализацию данных в планировщике2. |
airflow.scheduler.load_serializers.sum TIMING, миллисекунды |
Суммарное время, затраченное на сериализацию данных в планировщике2. |
airflow.scheduler.load_serializers.upper TIMING, миллисекунды |
Максимальное время, затраченное на сериализацию данных в планировщике2. |
airflow.scheduler.orphaned_tasks.adopted.value COUNTER, штуки |
Количество усыновленных планировщиком задач, которые были помечены как сироты. |
airflow.scheduler.orphaned_tasks.cleared.value COUNTER, штуки |
Количество очищенных планировщиком задач, которые были помечены как сироты. |
airflow.scheduler.scheduler_loop_duration.50_percentile TIMING, миллисекунды |
Время, затраченное на выполнение одного цикла планировщика. 0.5 процентиль. |
airflow.scheduler.scheduler_loop_duration.95_percentile TIMING, миллисекунды |
Время, затраченное на выполнение одного цикла планировщика. 0.95 процентиль. |
airflow.scheduler.scheduler_loop_duration.99_percentile TIMING, миллисекунды |
Время, затраченное на выполнение одного цикла планировщика. 0.99 процентиль. |
airflow.scheduler.scheduler_loop_duration.count TIMING, штуки |
Количество измерений времени, затраченного на выполнение одного цикла планировщика. |
airflow.scheduler.scheduler_loop_duration.lower TIMING, миллисекунды |
Минимальное время, затраченное на выполнение одного цикла планировщика. |
airflow.scheduler.scheduler_loop_duration.mean TIMING, миллисекунды |
Среднее время, затраченное на выполнение одного цикла планировщика. |
airflow.scheduler.scheduler_loop_duration.median TIMING, миллисекунды |
Медианное время, затраченное на выполнение одного цикла планировщика. |
airflow.scheduler.scheduler_loop_duration.stddev TIMING, миллисекунды |
Стандартное отклонение времени, затраченного на выполнение одного цикла планировщика. |
airflow.scheduler.scheduler_loop_duration.sum TIMING, миллисекунды |
Суммарное время, затраченное на выполнение одного цикла планировщика. |
airflow.scheduler.scheduler_loop_duration.upper TIMING, миллисекунды |
Максимальное время, затраченное на выполнение одного цикла планировщика. |
airflow.scheduler.tasks.executable.value GAUGE, штуки |
Количество задач, готовых к выполнению в соответствии с ограничениями пула, конкурентности DAG, состояния исполнителя и приоритетов. |
airflow.scheduler.tasks.starving.value GAUGE, штуки |
Количество задач, которые не могут быть запланированы из-за отсутствия свободного слота в пуле. |
CeleryExecutor GAUGE, штуки |
Количество воркеров Celery Значение метки status означает количество воркеров, которые:
|
1 Только один планировщик может одновременно войти в этот цикл.
2 Процесс сериализации данных для обмена между задачами и для безопасности веб-сервера и планировщика.