Модель данных в Monitoring

Данные в сервисе Yandex Monitoring хранятся в виде временных рядов.

МетрикиМетрики

Метрика — это временной ряд, который показывает изменение какой-либо величины во времени. Например, состояние ресурса одного из сервисов Yandex Cloud: количество занятого места на диске, скорость передачи данных по сети и т. д.

Для идентификации метрик используются текстовые метки.

Агрегирование запросовАгрегирование запросов

Некоторые метрики (например, disk.write_latency в Yandex Compute Cloud) отслеживают большое количество запросов, которое может достигать десятков тысяч в секунду. Запросы в таких метриках изначально агрегируются в бакеты в зависимости от значения.

В таких метриках существует несколько бакетов, например 1, 2, 5, 10 и т.д. Так, в бакете 1 хранятся запросы, выполнение которых заняло до 1 мс, в бакете 2 — до 2 мс, в бакете 5 — до 5 мс и т.д.

При выполнении запроса сервис измеряет время его выполнения и определяет, к какому бакету его отнести. Например, если запрос выполнился за 7 мс, то он попадет в бакет 10, как и все другие запросы, выполнявшиеся от 5 до 10 мс.

Значение таких метрик представляет собой дробное число — среднее количество запросов за определенную единицу времени, например за 5 секунд.

Чаще всего к таким метрикам применяется фильтр histogram_percentile, принимающий в качестве параметра процентную долю запросов, для которой требуется рассчитать минимальное время, в которое укладывается эта доля запросов.

Например:

Была зафиксирована одна тысяча запросов, из которых:

• 500 запросов выполнились за 0,5 мс;
• 499 запросов выполнились за 1,5 мс;
• 1 запрос выполнился за 1000 мс.

Среднее арифметическое значение на один запрос составит приблизительно 2 мс. Но это значение будет мало полезно из-за высокого пикового значения, которое в нем учтено. Значительно полезнее будет знать, что максимальное время выполнения запроса составило 1000 мс, но 99% запросов уложились в 2 мс. То есть 99-й процентиль запросов составил 2 мс. Этот процентиль можно получить, передав в фильтр histogram_percentile значение 99.

МеткиМетки

Метка — характеристика метрики в формате ключ: "значение". Каждая метрика идентифицируется неупорядоченным набором меток. Обычно в качестве метки используется параметр, который принимает ограниченное множество значений. Например, код состояния HTTP, тип выполняющихся процедур в базе данных и т. д.

Метки бывают обязательные и дополнительные. Список обязательных меток:

• cloudId — идентификатор облака, в котором находится ресурс.
• folderId — идентификатор каталога, в котором находится ресурс.
• service — указывает на сервис Yandex Cloud, которому принадлежит ресурс. Например, compute или managed-postgresql.

Ограничения на метки и их значенияОграничения на метки и их значения

Для меток и их значений действуют следующие ограничения:

• метрика может иметь не более 16 меток, включая обязательные метки cloudId, folderId, service;
• имя метки не может быть пустым;
• имя метки не должно состоять из символа -;
• длина имени — не больше 32 символов;
• начинаться имя должно с буквы (регистр не важен), далее в имени могут быть буквы, цифры, символы . и _;
• в именах меток и значениях метрик не допускается использовать алфавит, отличный от латинского.

Типы метрикТипы метрик

В сервисе Yandex Monitoring есть следующие типы метрик:

ЗапросыЗапросы

Запрос — произвольное выражение на языке запросов, результатом которого является линия или набор линий. В тексте запроса можно ссылаться на результаты вышестоящих запросов как на переменные.

Monitoring позволяет строить запросы для выборки набора метрик и отображения их на графике. В качестве значений меток могут использоваться шаблоны.

В сервисе Monitoring доступны следующие шаблоны: