Настроить алерты для сервиса

Алертинг позволяет следить за изменениями в метриках и отправлять уведомления, когда показатели достигают критических значений. Изменения в метриках отслеживаются с помощью периодически отправляемых запросов — алертов. Когда они достигают пороговых значений, система отправляет уведомление через указанный канал связи. Например, по электронной почте или в мессенджер.

В сервисе Smart Web Security доступны метрики скорости входящих запросов:

• load_balancer.smart_web_security.requests_per_second — количество запросов к защищаемому ресурсу в секунду. Это значение соответствует количеству запросов, обработанных профилем безопасности.
• load_balancer.smart_web_security.arl_requests_per_second — количество запросов к защищаемому ресурсу в секунду, которые обработаны модулем Advanced Rate Limiter.

С помощью меток можно отслеживать запросы к отдельному ресурсу или запросы с определенным результатом проверки, например заблокированные.

Чтобы настроить алертинг:

1. Создайте канал уведомлений.
2. Выберите метрики и метки для контроля.
3. Создайте алерт.

Во всех запросах на получение метрик укажите общие метки:

• project = folder__<идентификатор_каталога>.
• cluster = default.
• service = __application-load-balancer__.

В метке load_balancer укажите имя балансировщика или прокси-сервера, если защищаете домен. В запросах A и B одного алерта используйте одинаковые значения меток ресурса: балансировщика, профиля безопасности и при необходимости HTTP-роутера и виртуального хоста.

Примеры алертов для выявления аномалий:

• Алерт об увеличении доли заблокированных запросов.
• Алерт о высокой скорости легитимных запросов.

Пороги, окно и задержку вычисления из примеров подберите под нагрузку приложения и частоту поступления метрик.

Алерт об увеличении доли заблокированных запросовАлерт об увеличении доли заблокированных запросов

Алерт будет срабатывать, когда количество заблокированных запросов составляет 50% и более от общего количества запросов. Такой алерт поможет выявить различные типы атак, например, DDoS-атаки или попытку взлома с использованием ботов.

Обозначим буквами количество входящих запросов в секунду:

• A — общее количество запросов.
• B — количество запросов, заблокированных профилем безопасности.

Настроим алерты:

• B составляет 30% от A — предупреждение (Warning);
• B составляет 50% от A — критический уровень (Alarm).

Создание канала уведомленияСоздание канала уведомления

1. В консоли управления выберите каталог.

2. Перейдите в сервис Monium.

3. На панели слева выберите Алерты и SLO → Способы уведомления.

4. В правом верхнем углу нажмите Создать и выберите Канал уведомления.

5. Задайте имя канала уведомлений.

6. (Опционально) Укажите уровни алертов, для которых канал будет работать по умолчанию.

7. В поле Метод выберите метод отправки уведомлений.

8. В появившемся поле выберите получателей уведомлений.

   Примечание

   Чтобы получать уведомления, пользователь должен:

   • иметь роль monium.viewer на каталог, в котором настроен алерт;
   • в настройках консоли управления:
     • в разделе Уведомления на вкладке Категории включить опцию Мониторинг для соответствующего метода отправки;
     • указать адрес электронной почты, номер телефона и Telegram-аккаунт или группу.

9. Нажмите Сохранить.

Выбор метрик для контроляВыбор метрик для контроля

Для расчета доли заблокированных запросов используйте:

• A — метрика load_balancer.smart_web_security.requests_per_second со всеми значениями метки antirobot_verdict.
• B — та же метрика с фильтром antirobot_verdict = deny.
• C — доля заблокированных запросов в процентах: 100 * B / A.

При A = 0 доля не определена.

Создание алертаСоздание алерта

1. Перейдите в сервис Monium.

2. На панели слева выберите Алерты и SLO → Алерты.

3. Справа сверху нажмите кнопку Создать и выберите Пользовательский.

4. Введите название алерта, например, exceeding-blocked-requests.

5. В блоке Настройки алерта опишите запрос для получения A:

   1. Установите курсор в свободном пространстве в поле правее значка и добавьте параметры:

      • service = Application Load Balancer;
      • name = load_balancer.smart_web_security.requests_per_second;
      • antirobot_verdict = allow;
      • load_balancer = <имя_балансировщика_нагрузки>.

   2. Установите курсор в свободном пространстве в поле правее значка , выберите Преобразование, затем выберите и задайте функцию для обработки данных replace_nan(0) — замена пропусков данных на значение 0, чтобы график был непрерывным.

6. Нажмите Добавить запрос.

7. Опишите запрос для получения B:

   1. Укажите данные для сбора:

      • service = application-load-balancer;
      • name = load_balancer.smart_web_security.requests_per_second;
      • antirobot_verdict = deny;
      • load_balancer = <имя_балансировщика_нагрузки>.

   2. Задайте функцию replace_nan(0).

8. Нажмите Добавить запрос.

9. Опишите запрос C для получения доли B от A в процентах:

   1. Нажмите , чтобы переключиться в текстовый режим редактирования запроса.
   2. В строке запроса введите 100 * B / A.

10. В блоке Настройки алерта укажите:

    • Запрос для проверки — C.
    • Функция агрегации — Все значения.
    • Warning — 30 (предупреждение).
    • Alarm — 50 (критический уровень).
    • Окно вычисления — 30s.
    • Задержка вычисления — 15s.

11. В блоке Обработка отсутствия данных оставьте значения по умолчанию.

12. (опционально) В блоке Аннотации добавьте информацию, которую следует записывать при срабатывании алерта.

13. В блоке Уведомления добавьте канал для отправки уведомления.

14. Нажмите Создать.

Алерт о высокой скорости легитимных запросовАлерт о высокой скорости легитимных запросов

Обозначим буквами количество входящих запросов в секунду:

• A — разрешенных профилем безопасности.
• B — разрешенных профилем ARL.

Если A близко к B, профиль ARL пропускает большинство запросов, разрешенных профилем безопасности.

Если A значительно превышает B, часть запросов блокируется или направляется на дополнительную проверку профилем ARL. Проверьте характер трафика и настройки ARL: разница сама по себе не означает, что приложение не справляется с нагрузкой.

Чтобы выявить такое превышение скорости, настроим алерты:

• A превышает B на 30% — предупреждение (Warning);
• A превышает B на 50% — критический уровень (Alarm).

Создание канала уведомленияСоздание канала уведомления

1. В консоли управления выберите каталог.

2. Перейдите в сервис Monium.

3. На панели слева выберите Алерты и SLO → Способы уведомления.

4. В правом верхнем углу нажмите Создать и выберите Канал уведомления.

5. Задайте имя канала уведомлений.

6. (Опционально) Укажите уровни алертов, для которых канал будет работать по умолчанию.

7. В поле Метод выберите метод отправки уведомлений.

8. В появившемся поле выберите получателей уведомлений.

   Примечание

   Чтобы получать уведомления, пользователь должен:

   • иметь роль monium.viewer на каталог, в котором настроен алерт;
   • в настройках консоли управления:
     • в разделе Уведомления на вкладке Категории включить опцию Мониторинг для соответствующего метода отправки;
     • указать адрес электронной почты, номер телефона и Telegram-аккаунт или группу.

9. Нажмите Сохранить.

Выбор метрик для контроляВыбор метрик для контроля

Для сравнения запросов, разрешенных профилями безопасности и ARL, используйте:

• A — метрика load_balancer.smart_web_security.requests_per_second с фильтром antirobot_verdict = allow.
• B — метрика load_balancer.smart_web_security.arl_requests_per_second с фильтром arl_verdict = allow.
• C — превышение A над B в процентах: 100 * (A - B) / B.

Пример применим при B > 0. Если ARL не пропускает ни одного запроса, процент превышения не определен.

Создание алертаСоздание алерта

1. Перейдите в сервис Monium.

2. На панели слева выберите Алерты и SLO → Алерты.

3. Справа сверху нажмите кнопку Создать и выберите Пользовательский.

4. Введите название алерта, например, inbound-over-ARL.

5. В блоке Настройки алерта опишите запрос для получения A:

   1. Установите курсор в свободном пространстве в поле правее значка и добавьте параметры:

      • service = Application Load Balancer;
      • name = load_balancer.smart_web_security.requests_per_second;
      • antirobot_verdict = allow;
      • load_balancer = <имя_балансировщика_нагрузки>.

   2. Установите курсор в свободном пространстве в поле правее значка и задайте функции для обработки данных:

      • Комбинирование → series_sum() — сумма значений метрик с разными метками для конкретной точки. В нашем примере метка одна — antirobot_verdict, но для других метрик эта функция будет полезна.
      • Преобразование → replace_nan(0) — замена пропусков данных на значение 0, чтобы график был непрерывным.

6. Нажмите Добавить запрос.

7. Опишите запрос для получения B:

   1. Укажите данные для сбора:

      • service = application-load-balancer;
      • name = load_balancer.smart_web_security.arl_requests_per_second;
      • arl_verdict = allow;
      • load_balancer = <имя_балансировщика_нагрузки>.

   2. Задайте функции series_sum() и replace_nan(0).

8. Нажмите Добавить запрос.

9. Опишите запрос C для получения разницы между A и B в процентах:

   1. Нажмите , чтобы переключиться в текстовый режим редактирования запроса.
   2. В строке запроса введите 100 * abs(A - B) / B.

10. В блоке Настройки алерта укажите:

    • Запрос для проверки — C.
    • Функция агрегации — Все значения.
    • Warning — 30 (предупреждение).
    • Alarm — 50 (критический уровень).
    • Окно вычисления — 30s.
    • Задержка вычисления — 15s.

11. В блоке Обработка отсутствия данных оставьте значения по умолчанию.

12. (опционально) В блоке Аннотации добавьте информацию, которую следует записывать при срабатывании алерта.

13. В блоке Уведомления добавьте канал для отправки уведомления.

14. Нажмите Создать.

Полезные ссылкиПолезные ссылки

• Справочник метрик Yandex Smart Web Security
• Строка запроса в Monium