Настройка дашбордов и алертов в Yandex Monium
В руководстве описано, как отслеживать состояние трейлов с помощью дашбордов и алертов Yandex Monium.
Руководство предполагает, что у вас уже развернута инфраструктура:
- Есть ресурсы Yandex Cloud, события безопасности которых нужно собирать.
- Создан трейл Audit Trails для сбора событий.
- Настроен объект назначения для хранения аудитных логов: бакет, поток данных или лог-группа.
Метрики Audit Trails автоматически передаются в Monium Metrics и доступны в проекте каталога, в котором находится трейл.
Чтобы начать отслеживать статус трейлов:
Если ресурсы вам больше не нужны, удалите их.
Настройте алерты
Канал уведомлений и алерты создавайте в проекте каталога с трейлом.
Создайте канал уведомлений
Чтобы получать уведомления о срабатывании алерта:
- Перейдите на главную страницу Monium
. - В верхней панели нажмите название текущего проекта и выберите проект каталога с трейлом.
- На панели слева выберите
Алерты и SLO → Способы уведомления. - В правом верхнем углу нажмите кнопку Создать и выберите Канал уведомления.
- Укажите параметры канала:
- В поле Имя укажите
alerts-channel. - В поле Метод выберите метод уведомлений и заполните его параметры.
- В поле По умолчанию для уровней оставьте все уровни невыбранными: далее вы подключите канал к конкретным алертам.
- В поле Имя укажите
- Нажмите кнопку Сохранить.
Канал появится в списке.
Добавьте алерты
Вы можете настроить один или несколько алертов.
В примерах ниже используются пороговые алерты. Подробнее о создании алерта и его параметрах. Полный список метрик приведен в разделе Справочник метрик Audit Trails.
Переход трейла в неактивное состояние
Алерт отправит уведомление о том, что трейл переходит в неактивный статус.
-
Перейдите на главную страницу Monium
. -
В верхней панели нажмите название текущего проекта и выберите проект каталога с трейлом.
-
На панели слева выберите
Алерты и SLO → Алерты. -
В правом верхнем углу нажмите кнопку Создать и выберите Пользовательский.
-
В поле Название укажите
deactivating-trail-alert. -
В блоке Настройки алерта задайте метки запроса
A:project = folder__<идентификатор_каталога>— проект каталога с трейлом.cluster = default.service = __audit-trails__.name = trail.status.status != ACTIVE.trail = <идентификатор_трейла>— идентификатор трейла.
-
В блоке Условия срабатывания задайте параметры:
- Запрос для проверки —
A. - Функция агрегации — Последнее значение.
- Функция сравнения — Не равно.
- Warning — очистите поле: в примере используется только порог
Alarm. - Alarm —
0. - Окно вычисления —
5m.
- Запрос для проверки —
-
В блоке Обработка отсутствия данных для параметров Отсутствие точек в окне вычисления и Отсутствие метрик по селектору выберите
No data. Это позволит отличать отсутствие данных от нулевого значения метрики. -
В блоке Уведомления нажмите Редактировать. Добавьте канал
alerts-channel, созданный ранее, и выберите статусы срабатывания:Alarm,No dataиOK. -
Нажмите Проверить результат. Убедитесь, что запрос возвращает нужные метрики и статус алерта соответствует их значениям.
-
Нажмите кнопку Создать.
Алерт создан.
Прекращение доставки аудитных логов в объект назначения
Алерт перейдет в статус Alarm, если все значения частоты доставки событий за окно вычисления равны нулю. Например, доставка может прекратиться из-за нехватки свободного места в бакете.
Нулевая частота доставки также возможна, если новых событий нет. Используйте этот алерт для трейлов с регулярным потоком событий. При срабатывании сравните частоту обработки и доставки событий и проверьте лог диагностики.
Для параметра Окно вычисления задайте интервал, превышающий обычные паузы между доставками, например 15m. Выберите его по графику доставки событий: частота зависит от активности ресурсов в области сбора трейла.
-
Перейдите на главную страницу Monium
. -
В верхней панели нажмите название текущего проекта и выберите проект каталога с трейлом.
-
На панели слева выберите
Алерты и SLO → Алерты. -
В правом верхнем углу нажмите кнопку Создать и выберите Пользовательский.
-
В поле Название укажите
stopping-logs-alert. -
В блоке Настройки алерта задайте метки запроса
A:project = folder__<идентификатор_каталога>— проект каталога с трейлом.cluster = default.service = __audit-trails__.name = trail.delivered_events_count.trail = <идентификатор_трейла>— идентификатор трейла.
-
В блоке Условия срабатывания задайте параметры:
- Запрос для проверки —
A. - Функция агрегации — Все значения.
- Функция сравнения — Равно.
- Warning — очистите поле: в примере используется только порог
Alarm. - Alarm —
0. - Окно вычисления —
<окно_вычисления>.
- Запрос для проверки —
-
В блоке Обработка отсутствия данных для параметров Отсутствие точек в окне вычисления и Отсутствие метрик по селектору выберите
No data. Это позволит отличать отсутствие данных от нулевого значения метрики. -
В блоке Уведомления нажмите Редактировать. Добавьте канал
alerts-channel, созданный ранее, и выберите статусы срабатывания:Alarm,No dataиOK. -
Нажмите Проверить результат. Убедитесь, что запрос возвращает нужные метрики и статус алерта соответствует их значениям.
-
Нажмите кнопку Создать.
Алерт создан.
Изменение количества трейлов
Алерт отправит уведомление, если число трейлов в облаке отличается от заданного. Метрика доступна в проекте каталога с трейлом и учитывает трейлы всего облака.
-
Перейдите на главную страницу Monium
. -
В верхней панели нажмите название текущего проекта и выберите проект каталога с трейлом.
-
На панели слева выберите
Алерты и SLO → Алерты. -
В правом верхнем углу нажмите кнопку Создать и выберите Пользовательский.
-
В поле Название укажите
number-trails-alert. -
В блоке Настройки алерта задайте метки запроса
A:project = folder__<идентификатор_каталога>— проект каталога с трейлом.cluster = default.service = __audit-trails__.name = quota.trails_count.usage.
-
В блоке Условия срабатывания задайте параметры:
- Запрос для проверки —
A. - Функция агрегации — Последнее значение.
- Функция сравнения — Не равно.
- Warning — очистите поле: в примере используется только порог
Alarm. - Alarm —
<текущее_количество_трейлов>. - Окно вычисления —
5m.
- Запрос для проверки —
-
В блоке Обработка отсутствия данных для параметров Отсутствие точек в окне вычисления и Отсутствие метрик по селектору выберите
No data. Это позволит отличать отсутствие данных от нулевого значения метрики. -
В блоке Уведомления нажмите Редактировать. Добавьте канал
alerts-channel, созданный ранее, и выберите статусы срабатывания:Alarm,No dataиOK. -
Нажмите Проверить результат. Убедитесь, что запрос возвращает нужные метрики и статус алерта соответствует их значениям.
-
Нажмите кнопку Создать.
Использование квоты трейлов в облаке
Алерт отправит уведомление, когда будет использовано более 80% квоты на количество трейлов в облаке.
-
Перейдите на главную страницу Monium
. -
В верхней панели нажмите название текущего проекта и выберите проект каталога с трейлом.
-
На панели слева выберите
Алерты и SLO → Алерты. -
В правом верхнем углу нажмите кнопку Создать и выберите Пользовательский.
-
В поле Название укажите
trail-quota-alert. -
В блоке Настройки алерта задайте метки запроса
A:project = folder__<идентификатор_каталога>— проект каталога с трейлом.cluster = default.service = __audit-trails__.name = quota.trails_count.usage.
-
Нажмите Добавить запрос и создайте запрос
Bс теми же метками, но сname = quota.trails_count.limit. -
Добавьте запрос
C, переключите его в текстовый режим и введите100 * A / B— процент использования квоты. -
В блоке Условия срабатывания задайте параметры:
- Запрос для проверки —
C. - Функция агрегации — Последнее значение.
- Функция сравнения — Больше.
- Warning — очистите поле: в примере используется только порог
Alarm. - Alarm —
80. - Окно вычисления —
5m.
- Запрос для проверки —
-
В блоке Обработка отсутствия данных для параметров Отсутствие точек в окне вычисления и Отсутствие метрик по селектору выберите
No data. Это позволит отличать отсутствие данных от нулевого значения метрики. -
В блоке Уведомления нажмите Редактировать. Добавьте канал
alerts-channel, созданный ранее, и выберите статусы срабатывания:Alarm,No dataиOK. -
Нажмите Проверить результат. Убедитесь, что запрос возвращает нужные метрики и статус алерта соответствует их значениям.
-
Нажмите кнопку Создать.
Настройте дашборд
Готовые графики для наблюдения за состоянием трейлов находятся на сервисных дашбордах Monium:
- Audit Trails Trail Overview — состояние выбранного трейла.
- Audit Trails Folder Overview — состояние всех трейлов каталога.
Чтобы отслеживать не только состояние трейлов, но и состояние объектов назначения, куда они доставляют аудитные логи, создайте дашборд в Monium.
Создайте дашборд
- Перейдите на главную страницу Monium
. - В верхней панели нажмите название текущего проекта и выберите проект каталога с трейлом.
- На панели слева выберите
Дашборды. - Нажмите Создать.
- Справа вверху нажмите
Сохранить дашборд. - В открывшемся окне введите название дашборда, например
missing-events, и нажмите Сохранить.
Создайте график для отслеживания доставки событий
Динамику обработки и доставки событий можно отслеживать по метрикам Audit Trails:
trail.processed_events_count— частота событий, принятых в обработку.trail.delivered_events_count— частота событий, доставленных в объект назначения.
Скопируйте на дашборд готовый график, который сравнивает частоту обработки и доставки событий:
-
Откройте дашборд трейла в Monium:
Интерфейс MoniumКонсоль управления- На главной странице Monium
слева выберите Дашборды. - В левом верхнем углу выберите проект каталога, в котором находится трейл.
- Перейдите на вкладку Сервисные дашборды.
- В списке выберите дашборд Audit Trails Trail Overview сервиса
audit-trails. - Вверху в поле Trail выберите нужный трейл.
-
Откройте консоль управления
. -
Перейдите
в сервис Audit Trails. -
На панели слева выберите
Трейлы. -
Выберите нужный трейл.
-
Перейдите на вкладку Мониторинг для выбранного трейла.
-
Справа вверху нажмите Открыть в Monium.
Откроется интерфейс Monium.
- На главной странице Monium
-
Скопируйте график:
Интерфейс Monium-
Найдите график Processed versus delivered events.
-
Справа от названия графика нажмите
→ Копировать на другой дашборд. -
Укажите название, например
Processed versus delivered events — <имя_трейла>. -
Выберите проект и дашборд, который вы создали ранее.
-
Нажмите Копировать и перейти к дашборду.
Откроется ваш дашборд с новым графиком.
-
При необходимости аналогичным способом добавьте на дашборд графики из других трейлов.
Изучите график доставки событий
Обратите внимание на отставание Delivered events от Processed events. На графике могут быть кратковременные провалы, за которыми следуют всплески: трейл может временно накапливать события, а затем доставлять их в объект назначения. Если отставание сохраняется час или дольше, проверьте статус и лог диагностики трейла.
Узнайте статус трейла
- Откройте консоль управления
. - Перейдите
в сервис Audit Trails. - На панели слева выберите
Трейлы. - Выберите трейл. На странице Трейл отобразится подробная информация о трейле.
Статус Active означает, что трейл продолжает собирать аудитные логи с доступных ресурсов. Если при этом сохраняется отставание Delivered events от Processed events, проверьте состояние объекта назначения и его логи:
- Получить информацию о бакете и его статистику
- Получение информации о лог-группе
- Пошаговые инструкции для Data Streams
Статус Error сообщает об ошибке в работе трейла. В этом случае изучите лог диагностики трейла.
Изучите лог диагностики трейла
- Откройте консоль управления
. - Перейдите
в сервис Audit Trails. - На панели слева выберите
Трейлы. - Выберите трейл.
- Перейдите на панель
Лог диагностики и изучите лог. - Ознакомьтесь с рекомендациями по обработке ошибок.
Создайте график для объекта назначения
Дополнительно к графику сравнения обработки и доставки событий можно добавить график для объекта назначения:
-
Object Storage
Прекращение доставки логов может быть связано с достижением заданного максимального размера бакета. Чтобы отслеживать занятый объем и сравнивать его с ограничением, создайте график по метрике
space_usageи добавьте метрикуmax_sizeв качестве порогового значения.Метрика
max_sizeнедоступна, если для бакета не задан максимальный размер. В таком случае контролируйте использование квоты на объем хранилища в облаке. -
Cloud Logging
Добавьте на дашборд график по метрике
group.service.ingested_records_per_second— она отображает скорость записи логов в лог-группу. Сравнение этой величины с установленной квотойМаксимальная скорость записипомогает определить, приближается ли поток логов к максимально разрешенной скорости. Дополнительный график по метрикеgroup.service.ingest_requests_per_secondсо статусомERRORпозволит вовремя обнаружить ошибки при записи. -
Data Streams — подробнее в документации Yandex Managed Service for YDB:
Подробнее о решении проблем с записью данных смотрите в разделе Диагностика медленной записи в Yandex Data Streams.
Совет
Если скорость записи потока событий в Data Streams более 1 МБ/с, включите сжатие. Это сократит объем передаваемых данных, снизит риск перегрузки (троттлинга
) отдельных сегментов YDS и повысит эффективность использования пропускной способности потока.Настройка сжатия доступна при создании или изменении трейла через интерфейсы CLI, API или Terraform. Можно указать метод сжатия
GZIP(GNU Zip ) илиZSTD(Zstandard ). По умолчанию сжатия нет (RAW).Чтобы читать данные через собственный протокол YDS, дополнительно включите сжатие на читателе YDS. Протоколы HTTP Kinesis и Apache Kafka® пока не поддерживаются.
Как удалить созданные ресурсы
-
Удалите дашборд:
Интерфейс Monium- Перейдите на главную страницу Monium
. - В верхней панели выберите проект, в котором вы создали дашборд.
- На панели слева выберите
Дашборды. - Напротив названия нужного дашборда нажмите
→ Удалить. - Подтвердите удаление.
- Перейдите на главную страницу Monium
Проект Monium с идентификатором folder__<идентификатор_каталога> создается автоматически для каждого каталога и содержит телеметрию его ресурсов.