Создание алерта

На главной странице Monium слева выберите Алерты и SLO → Алерты.

Вверху справа нажмите Создать алерт → Пользовательский.

Укажите основные параметры алерта:

• Название — произвольное название алерта.

• ID — уникальный идентификатор алерта с префиксом проекта. По умолчанию совпадает с названием.

• Описание — назначение алерта или комментарий.

• Уровень алерта — уровень критичности алерта. Выбирайте уровень по влиянию события:

  • Unspecified — черновик или тест без выбранного уровня.
  • Disaster — недоступность сервиса или риск потери данных.
  • Critical — деградация сервиса или нехватка ресурсов.
  • Info — плановая операция или тестовый алерт.

В блоке Настройки алерта опишите один или несколько запросов.

• Для поиска метрик приложений в строке запроса укажите:

  • project = <идентификатор_проекта> — выберите проект, заданный в параметре x-monium-project в конфигурации передачи телеметрии приложения.

    Это может быть проект облака (cloud__<идентификатор_облака>), каталога (folder__<идентификатор_каталога>) или другой проект.

  • cluster = <имя_кластера> — выберите имя инсталляции, в которой запущено ваше приложение. Если кластер не задан, то по умолчанию cluster = default.

  • service = <имя_сервиса> — имя вашего приложения или сервиса. Может передаваться в переменной окружения OTEL_SERVICE_NAME.

    Если нужных меток нет в подсказках, их можно ввести вручную. Но, скорее всего, в систему не поступали данные с такими метками. Решение возможных проблем описано в разделе Устранение неполадок при поставке данных.

• Для поиска метрик ресурсов Yandex Cloud в строке запроса укажите:

  • project = folder__<идентификатор_каталога> — идентификатор каталога, в котором находится ресурс Yandex Cloud.
  • cluster = default.
  • service = <__имя_сервиса__>, например __application-load-balancer__, __cdn__, __iam__.
  • Метки нужного ресурса. Например, для сервиса Identity and Access Management можно указать сервисный аккаунт — service_account = <имя_сервисного_аккаунта>.

Имена запросов можно использовать как переменные в других запросах, например A + B. Для этого переключите строку запроса в текстовый режим .

В блоке Условия срабатывания настройте условие перехода алерта в статусы Warning и Alarm:

• Запрос для проверки — запрос, к результату которого применяется функция агрегации.
• Функция агрегации — способ вычислить одно значение по результатам запроса. Для всплесков выбирайте максимум или хотя бы одно значение, для устойчивой деградации — среднее или все значения.
• Функция сравнения — условие сравнения результата с порогами Warning и Alarm. Например, для задержки API обычно используют «больше», а для свободного места на диске — «меньше».
• Warning — порог раннего предупреждения, например 80% утилизации CPU.
• Alarm — порог критической ошибки, например 90% утилизации CPU.
• Окно вычисления — интервал, за который рассчитывается функция агрегации. Увеличьте окно, чтобы не реагировать на одиночные пики.
• Задержка вычисления — сдвиг окна вычисления назад. Используйте задержку, если метрики поступают не сразу или агрегируются с опозданием.

Подробнее о параметрах условия в разделе Условия срабатывания.

Настройте прореживание данных или оставьте значения по умолчанию. Для алертов по пиковым значениям выбирайте Максимум, для счетчиков — Сумма или Количество. Если метрика состояния меняется редко, в поле Заполнение выберите Предыдущее значение.

Чтобы создать мультиалерт, в блоке Разложение по меткам добавьте метки.

Добавляйте метки, по которым нужна отдельная реакция. Например, если добавить разложение по disk, Monium создаст подалерты для каждого диска. Не используйте метки с большим числом уникальных значений, например request_id или user_id: они могут создать слишком много подалертов.

Задайте политики обработки отсутствия данных или оставьте значения по умолчанию. Для критичных метрик выбирайте статус No data, чтобы отличать сбой сбора метрик от нормы. Если отдельные инстансы могут исчезать при автомасштабировании, используйте упрощенное применение политик.

(Опционально) Укажите аннотации к алерту. Аннотации добавляют к алерту дополнительную метаинформацию, которую можно включить в текст уведомлений или отобразить в виджете алерта на дашборде. Например, передать время и значение метрики в момент срабатывания или сформировать ссылку на нужный график.

(Опционально) Для сортировки и поиска алертов добавьте лейблы в формате ключ=значение.

Можно добавить несколько лейблов. Для этого после ввода пары ключ=значение нажмите клавишу Enter. Чтобы использовать лейблы в другом алерте или в строке поиска, нажмите кнопку Скопировать все лейблы.

(Опционально) В блоке Ссылки добавьте ссылки на связанные ресурсы.

Настройте уведомления. Если у вас нет канала уведомлений, создайте его.

Чтобы не получать уведомление при каждой смене статуса, включите Подавление шума. Задайте интервал ожидания: за это время Monium отправит одно уведомление с итоговым статусом. Используйте настройку для нестабильных метрик, например задержки API при кратковременных скачках нагрузки. Подробнее о подавлении шума в разделе Подавление шума.

Проверьте вычисление алерта.

Вверху справа нажмите Проверить результат. Monium пересчитает алерт по текущим настройкам и покажет вычисленный статус, график и значения переменных.

Используйте проверку, чтобы убедиться, что запросы возвращают данные, а пороги и политики отсутствия данных работают, как ожидается.

Нажмите Создать. Алерт появится в списке.