Метрики логов

Чтобы доставка логов была управляемой и измеримой, Monium.Logs публикует для каждого проекта набор стандартных метрик. Эти метрики доступны во всех проектах, куда поступают логи, независимо от способа их доставки.

По ним можно оценить объем поступающих логов по сервисам и кластерам, задержку доставки (lag), а также количество записей уровня ERROR — как по проекту в целом, так и по отдельным сервисам.

Метрики собраны в сервисный дашборд Logs overview:

• Дашборд создается автоматически в проекте после начала записи логов в систему.
• Дашборд доступен на уровне каталога, в который ведется запись логов.
• У метрик нет меток host и user_cluster.
• В метке user_service указывается лог-группа, для которой рассчитаны метрики.

Чтобы открыть сервисный дашборд логов:

1. Перейдите в Monium → Дашборды.
2. Выберите вкладку Сервисные дашборды.
3. Найдите в списке и выберите Logs overview.

Описание дашбордовОписание дашбордов

• Top services by logs — топ сервисов по количеству отправленных логов. Позволяет определить, какие сервисы генерируют наибольшее количество записей.
• Top services by traffic — топ сервисов по объему трафика в байтах. Показывает, какие сервисы создают наибольшую нагрузку на систему по объему данных.
• Top services by bytes per log record — топ сервисов по среднему размеру одной записи лога в байтах. Помогает выявить сервисы с избыточно большими записями.
• Invalidated logs — количество логов, не прошедших валидацию. Отображает записи, отклоненные из-за несоответствия требованиям формата или содержания.
• Failed quota checks — количество запросов, отклоненных из-за превышения квот. Показывает случаи, когда лимиты проекта по логам или байтам были превышены.
• Failed authentications — количество неуспешных попыток авторизации. Отображает запросы, которые не прошли проверку подлинности.
• Attributes kind: Rows with dropped labels — количество строк, в которых метки были отброшены или перемещены в метаинформацию. Показывает записи с атрибутами, имеющими префикс labels., которые не могут быть сохранены как метки.
• Severity — распределение логов по уровням важности:
  • Count info logs for services — количество информационных логов по сервисам.
  • Count warn logs for services — количество предупреждений по сервисам.
  • Count error logs for services — количество ошибок по сервисам.
• Latencies: Average latencies of write logs from service — средняя задержка записи логов от сервиса. Показывает время между отправкой лога приложением и его записью в систему.

Описание метрикОписание метрик

ingest_processed_logsingest_processed_logs

Метрика по количеству логов в секунду, которые прошли авторизацию, валидацию и будут записаны в базу данных (также логи могут быть необработанными, если количество отправленных пользователем логов больше, чем квота по логам).

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ, или выбрать интересующий ДЦ).

ingest_processed_bytesingest_processed_bytes

Метрика по количеству байт в логах в секунду, которые прошли авторизацию, валидацию и будут записаны в базу данных (также логи могут быть необработанными, если количество отправленных пользователем байт больше, чем квота по байтам).

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ, или выбрать интересующий ДЦ).

logsvalidator_invalidated_logslogsvalidator_invalidated_logs

Метрика по количеству логов в секунду, которые не прошли валидацию.

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ, или выбрать интересующий ДЦ).
• reason — причина, по которой лог не прошел валидацию.

Ошибки валидацииОшибки валидации

• res.attrs.project — не указан проект.
• res.attrs.service — не указан сервис.
• res.attrs.invalid — атрибуты на уровне ресурса не прошли валидацию.
• scope.name — длина имени скоупа 0 или больше 200 символов, или содержит символы не из Unicode.
• scope.attrs.invalid — атрибуты не прошли валидацию.
• log.attrs.invalid — атрибуты строки лога не прошли валидацию.
• log.body.not.string — в типе body не текст.
• severity.not.match.text — severity не соответствует текстовому названию severity (severityText).
• severity.0.text.not.empty — severity = 0 и указан severityText.
• severity.not.in.range — severity, указанный в логе, меньше 1 (Trace) или больше 24 (FATAL 4).
• ts.invalid — timestamp, указанный в логе, больше текущего времени + 5 минут.
• observed.ts.invalid — observed timestamp, указанный в логе, больше текущего времени + 5 минут.
• log.component.both.levels — компонент указан на уровне скоупа и лога.

severity_logs_user_tsseverity_logs_user_ts

Метрика с количеством логов в разделении по severity (Level) лога. Метрика отображается во времени, полученном из строчки лога, а не в времени, когда данные были записаны или отправлены.

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ или выбрать интересующий ДЦ).
• severity — level лога (Error, Warn, Info).

receiver_auth_processed_logsreceiver_auth_processed_logs

Метрика по количеству отправляемых пользователем логов в секунду до всех проверок в системе (до авторизации, валидации, проверки квот).

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ или выбрать интересующий ДЦ).

receiver_auth_processed_logs_bytesreceiver_auth_processed_logs_bytes

Метрика по количеству отправляемых пользователем логов в байтах в секунду до авторизации, валидации и ограничения по квоте при ее превышении.

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ или выбрать интересующий ДЦ).

receiver_auth_authorizationsreceiver_auth_authorizations

Метрика по количеству неуспешных запросов авторизации пользователем в секунду.

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ или выбрать интересующий ДЦ).
• user_auth_result — результат авторизации (сейчас только failure).
• user_auth_kind — тип авторизации.

lag_from_app_seclag_from_app_sec

Гистограмма по времени, которое прошло с момента отправки логов приложением до его записи.

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ или выбрать интересующий ДЦ).
• bin — бакеты в секундах (1, 30, 50, 60, 90, 120, 300, 900, inf).

lag_from_agent_seclag_from_agent_sec

Гистограмма по времени, которое прошло с момента отправки логов агентом до его записи.

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ или выбрать интересующий ДЦ).
• bin — бакеты в секундах (1, 5, 60, 90, 300, inf).

project_logs_quotaproject_logs_quota

Метрика с квотой по строчкам лога для вашего проекта.

Метки:

• host — указать quota.

project_bytes_logs_quotaproject_bytes_logs_quota

Метрика с квотой по байтам в секунду для вашего проекта.

Метки:

• host — указать quota.

ingest_dropped_labels_countingest_dropped_labels_count

Метрика по количеству строчек в секунду, в которых атрибут с префиксом labels. был записан в метаинформацию или отброшен.

Метки:

• user_cluster — кластер, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем кластерам).
• user_service — сервис, из которого были отправлены логи (можно указать total, чтобы посмотреть сумму по всем сервисам).
• host — хост, с которого были отправлены логи (можно указать cluster, чтобы посчитать сумму по всем ДЦ или выбрать интересующий ДЦ).