Настроить алерты

Чтобы получать уведомления о росте числа ошибок при обращении к приложению, настройте алерт в Monium. Алерт проверяет значения метрик и меняет статус при достижении заданных порогов. Уведомления о смене статуса можно получать по электронной почте или в мессенджере.

Чтобы настроить алертинг:

1. Создайте канал уведомлений.
2. Выберите метрики для контроля.
3. Создайте алерт.

В примере алерт отслеживает долю ответов HTTP 503 Service Unavailable от общего количества запросов.

Рост числа ответов 503 может сопровождать сбои в инфраструктуре или DDoS-атаки. Чтобы определить причину, изучите логи балансировщика и бэкендов.

Для расчета используются запросы:

• A — общее количество запросов в секунду.
• B — количество ответов с кодом 503 в секунду.
• C — доля таких ответов в процентах: 100 * B / A.

Для одного алерта задаются два порога:

• Warning — доля ответов 503 составляет не менее 30%.
• Alarm — доля ответов 503 составляет не менее 50%.

Алерт меняет статус, если доля ошибок остается не ниже соответствующего порога в течение всего окна вычисления — 30 секунд. Подберите пороги и длительность окна с учетом требований к вашему приложению.

Для выполнения инструкции нужны роли на каталог с балансировщиком:

• monium.metrics.reader — для чтения метрик.
• monium.alerts.editor — для создания алерта.
• monium.channels.editor — для создания канала уведомлений.

Создание канала уведомленияСоздание канала уведомления

1. Перейдите в Monium.

2. На панели сверху выберите проект каталога с балансировщиком: folder__<идентификатор_каталога>. В этом проекте будут созданы канал уведомлений и алерт.

3. Слева выберите Алерты и SLO → Способы уведомления.

4. Нажмите Создать → Канал уведомления.

5. Укажите параметры канала:

   • Имя — произвольное имя канала.
   • Метод — метод отправки уведомлений.
   • Получатели — получатели уведомлений.

   Примечание

   Чтобы получать уведомления, пользователь должен:

   • иметь роль monium.viewer на каталог, в котором настроен алерт;
   • в настройках консоли управления:
     • включить опцию Мониторинг;
     • в зависимости от метода уведомления указать адрес электронной почты, номер телефона, добавить аккаунт Telegram или Яндекс Мессенджер.

6. Нажмите Создать.

Выбор метрик для контроляВыбор метрик для контроля

Используйте метрику load_balancer.requests_count_per_second: для запроса A задайте code = total, для B — code = 503. В обоих запросах укажите один балансировщик и одинаковые значения остальных меток. Функция series_sum() суммирует выбранные временные ряды, чтобы получить по одному значению A и B для каждого момента времени.

Создание алертаСоздание алерта

1. На главной странице Monium слева выберите Алерты и SLO → Алерты.

2. Вверху справа нажмите Создать алерт → Пользовательский.

3. Укажите название алерта, например, unavailable_service.

4. В блоке Настройки алерта опишите запрос для получения A:

   1. В строке запроса укажите параметры:

      • project = folder__<идентификатор_каталога>;
      • cluster = default;
      • service = __application-load-balancer__;
      • name = load_balancer.requests_count_per_second;
      • load_balancer = <идентификатор_балансировщика>;
      • code = total.

      Для меток http_router, virtual_host, route, backend_group, backend и zone укажите *.

   2. Задайте функцию обработки данных series_sum().

5. Нажмите Добавить запрос.

6. Опишите запрос для получения B:

   1. Укажите те же метки, что в запросе A, но замените значение метки code на 503.
   2. Последовательно примените функции series_sum() и replace_nan(0).

7. Нажмите Добавить запрос.

8. Опишите запрос C для получения доли B от A в процентах:

   1. Переключите строку запроса в текстовый режим .
   2. В строке запроса введите 100 * B / A.

9. В блоке Условия срабатывания укажите:

   • Запрос для проверки — C.
   • Функция агрегации — Все значения.
   • Функция сравнения — Больше или равно.
   • Warning — 30 (предупреждение).
   • Alarm — 50 (критический уровень).
   • Окно вычисления — 30 секунд.
   • Задержка вычисления — 15 секунд.

10. В блоке Обработка отсутствия данных выберите статус No data для отсутствия метрик и точек данных.

    Если запросов нет (A = 0), доля ошибок не определена. По этому алерту нельзя делать вывод о доступности приложения в такой период.

11. (Опционально) В блоке Аннотации добавьте информацию, которую следует записывать при срабатывании алерта.

12. В блоке Уведомления добавьте канал для отправки уведомления.

13. Проверьте вычисление алерта на периоде, в котором есть запросы к балансировщику. Убедитесь, что запрос C возвращает один временной ряд со значениями от 0 до 100.

14. Нажмите Создать.