Настроить алерты для сервиса

Алертинг позволяет следить за изменениями в метриках и отправлять уведомления, когда показатели достигают критических значений. Изменения в метриках отслеживаются с помощью периодически отправляемых запросов — алертов. Когда они достигают пороговых значений, система отправляет уведомление через указанный канал связи. Например, по электронной почте или в мессенджер.

В сервисе Smart Web Security доступны метрики скорости входящих запросов:

• load_balancer.smart_web_security.requests_per_second — количество запросов к защищаемому ресурсу в секунду. Это значение соответствует количеству запросов, обработанных профилем безопасности.
• load_balancer.smart_web_security.arl_requests_per_second — количество запросов к защищаемому ресурсу в секунду, которые обработаны модулем Advanced Rate Limiter.

Можно настроить алерты при достижении метриками определенных порогов скорости. А также использовать метки для расчета метрик по отдельным событиям.

Чтобы настроить алертинг:

1. Создайте канал уведомлений.
2. Выберите метрики и метки для контроля.
3. Создайте алерт.

Рассмотрим примеры создания алертов, которые могут быть полезны для выявления аномалий:

• Алерт об увеличении доли заблокированных запросов.
• Алерт о высокой скорости легитимных запросов.

Алерт об увеличении доли заблокированных запросовАлерт об увеличении доли заблокированных запросов

Алерт будет срабатывать, когда количество заблокированных запросов составляет 50% и более от общего количества запросов. Такой алерт поможет выявить различные типы атак, например, DDoS или попытку взлома с использованием ботов.

Обозначим буквами количество входящих запросов в секунду:

• A — общее количество запросов.
• B — запросов, заблокированных профилем безопасности.

Настроим алерты:

• B составляет 30% от A — предупреждение (Warning);
• B составляет 50% от A — критический уровень (Alarm).

Создание канала уведомленияСоздание канала уведомления

1. В консоли управления слева выберите каталог.

2. Выберите сервис Monitoring.

3. Выберите раздел Каналы уведомлений.

4. Нажмите Создать канал.

5. Укажите имя канала, метод отправки и получателей.

   Примечание

   Чтобы получать уведомления, пользователь должен:

   • иметь роль monitoring.viewer на каталог, в котором настроен алерт.
   • в настройках консоли управления:
     • включить опцию Мониторинг;
     • указать адрес электронной почты, номер телефона и Telegram-аккаунт или группу.

6. Нажмите Создать.

Выбор метрик для контроляВыбор метрик для контроля

• Величину A будем получать с помощью метрики load_balancer.smart_web_security.requests_per_second.
• Величину B будем получать с помощью метрики load_balancer.smart_web_security.requests_per_second, отфильтровав по метке antirobot_verdict = deny.
• Долю B от A будем вычислять как 100 * B / A и сохранять в значении C.

Создание алертаСоздание алерта

1. На странице сервиса Monitoring нажмите Создать алерт.

2. Введите название алерта, например, exceeding-blocked-requests.

3. В блоке Настройки алерта опишите запрос для получения A:

   1. Напротив значка нажмите и добавьте параметры:
   • service = Application Load Balancer;
   • name = load_balancer.smart_web_security.requests_per_second;
   • antirobot_verdict = allow;
   • load_balancer = <имя_балансировщика_нагрузки>.
   1. Напротив значка нажмите .
   2. Задайте функцию для обработки данных replace_nan(0) — замена пропусков данных на значение 0, чтобы график был непрерывным.

4. Нажмите Добавить запрос.

5. Опишите запрос для получения B:

   1. Укажите данные для сбора:
   • service = Application Load Balancer;
   • name = load_balancer.smart_web_security.requests_per_second;
   • antirobot_verdict = deny;
   • load_balancer = <имя_балансировщика_нагрузки>.
   1. Задайте функцию replace_nan(0).

6. Нажмите Добавить запрос.

7. Опишите запрос C для получения доли B от A в процентах:

   1. Нажмите , чтобы переключиться в текстовый режим редактирования запроса.
   2. В строке запроса введите 100 * B / A.

8. В блоке Настройки алерта укажите:

   • Запрос для проверки — C.
   • Функция агрегации — Все значения.
   • Warning — 30 (предупреждение).
   • Alarm — 50 (критический уровень).
   • Окно вычисления — 30 секунд.
   • Задержка вычисления — 15 секунд.

9. В блоке Обработка отсутствия данных оставьте значения по умолчанию.

10. (опционально) В блоке Аннотации добавьте информацию, которую следуют записывать при срабатывании алерта.

11. В блоке Уведомления добавьте канал для отправки уведомления.

12. Нажмите Создать.

Алерт о высокой скорости легитимных запросовАлерт о высокой скорости легитимных запросов

Обозначим буквами количество входящих запросов в секунду:

• A — разрешенных профилем безопасности.
• B — разрешенных профилем ARL.

В норме величина A должна быть равна или немного больше B. То есть количество запросов, разрешенных профилем безопасности, незначительно превышает установленный лимит в ARL. А значит большинство запросов, разрешенных профилем безопасности, достигает вирутального хоста. В этом случае нагрузка на систему находится в пределах нормы.

Значительная разница в количестве запросов означает, что система не справляется с нагрузкой и блокирует потенциально легитимные запросы. Это возможно при недостаточной производительности или атаке. Если такая ситуация наблюдается постоянно, стоит пересмотреть настройки профиля безопасности или лимиты скорости.

Чтобы выявить такое превышение скорости, настроим алерты:

• A превышает B на 30% — предупреждение (Warning);
• A превышает B на 50% — критический уровень (Alarm).

Создание канала уведомленияСоздание канала уведомления

1. В консоли управления слева выберите каталог.

2. Выберите сервис Monitoring.

3. Выберите раздел Каналы уведомлений.

4. Нажмите Создать канал.

5. Укажите имя канала, метод отправки и получателей.

   Примечание

   Чтобы получать уведомления, пользователь должен:

   • иметь роль monitoring.viewer на каталог, в котором настроен алерт.
   • в настройках консоли управления:
     • включить опцию Мониторинг;
     • указать адрес электронной почты, номер телефона и Telegram-аккаунт или группу.

6. Нажмите Создать.

Выбор метрик для контроляВыбор метрик для контроля

• Величину A будем получать с помощью метрики load_balancer.smart_web_security.requests_per_second, отфильтровав по метке antirobot_verdict = allow.
• Величину B будем получать с помощью метрики load_balancer.smart_web_security.arl_requests_per_second, отфильтровав по метке arl_verdict = allow.
• Превышение A над B в процентах будем вычислять как 100 * abs(A - B) / B и сохранять в значении C.

Создание алертаСоздание алерта

1. На странице сервиса Monitoring нажмите Создать алерт.

2. Введите название алерта, например, inbound-over-ARL.

3. В блоке Настройки алерта опишите запрос для получения A:

   • Напротив значка нажмите и добавьте параметры:
     • service = Application Load Balancer;
     • name = load_balancer.smart_web_security.requests_per_second;
     • antirobot_verdict = allow;
     • load_balancer = <имя_балансировщика_нагрузки>.
   • Напротив значка нажмите и задайте функции для обработки данных:
     • series_sum() — сумма значений метрик с разными метками для конкретной точки. В нашем примере метка одна — antirobot_verdict, но для других метрик эта функция будет полезна.
     • replace_nan(0) — замена пропусков данных на значение 0, чтобы график был непрерывным.

4. Нажмите Добавить запрос.

5. Опишите запрос для получения B:

   • Укажите данные для сбора:
     • service = Application Load Balancer;
     • name = load_balancer.smart_web_security.arl_requests_per_second;
     • arl_verdict = allow;
     • load_balancer = <имя_балансировщика_нагрузки>.
   • Задайте функции series_sum() и replace_nan(0).

6. Нажмите Добавить запрос.

7. Опишите запрос C для получения разницы между A и B в процентах:

   1. Нажмите , чтобы переключиться в текстовый режим редактирования запроса.
   2. В строке запроса введите 100 * abs(A - B) / B.

8. В блоке Настройки алерта укажите:

   • Запрос для проверки — C.
   • Функция агрегации — Все значения.
   • Warning — 30 (предупреждение).
   • Alarm — 50 (критический уровень).
   • Окно вычисления — 30 секунд.
   • Задержка вычисления — 15 секунд.

9. В блоке Обработка отсутствия данных оставьте значения по умолчанию.

10. (опционально) В блоке Аннотации добавьте информацию, которую следуют записывать при срабатывании алерта.

11. В блоке Уведомления добавьте канал для отправки уведомления.

12. Нажмите Создать.

См. такжеСм. также

• Справочник метрик Yandex Monitoring
• Строка запроса