Мониторинг и логи

• За какими метриками и процессами можно следить с помощью мониторинга?

• Как тарифицируется хранение логов?

• Как следить за свободным объемом хранилища на хостах ZooKeeper?

• Как отслеживать объем, занимаемый данными в гибридном хранилище?

• Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?

За какими метриками и процессами можно следить с помощью мониторинга?За какими метриками и процессами можно следить с помощью мониторинга?

Для всех типов СУБД можно отслеживать:

• загрузку процессора, памяти, сети, дисков в абсолютных величинах;
• загрузку памяти, сети, дисков в процентах от установленных лимитов для класса хостов соответствующего кластера;
• объем данных кластера БД и остаток свободного места в хранилище данных.

Для всех хостов БД можно отслеживать метрики, специфические для типа соответствующей СУБД. Например для PostgreSQL можно отслеживать:

• среднее время выполнения запроса;
• количество запросов в секунду;
• количество ошибок в журналах и т. д.

Мониторинг можно осуществлять с минимальной гранулярностью в 5 секунд.

Как тарифицируется хранение логов?Как тарифицируется хранение логов?

Логи любого уровня пишутся на системный раздел диска, под который отведено 20 ГБ, поэтому не тарифицируются отдельно. Объем создаваемых логов влияет только на частоту их ротации.

Как долго хранятся логи?Как долго хранятся логи?

Логи кластера хранятся 30 дней.

Как следить за свободным объемом хранилища на хостах ZooKeeper?Как следить за свободным объемом хранилища на хостах ZooKeeper?

Воспользуйтесь инструкцией в разделе Мониторинг состояния кластера и хостов, чтобы отслеживать состояние хостов или настроить алерты.

Как отслеживать объем, занимаемый данными в гибридном хранилище?Как отслеживать объем, занимаемый данными в гибридном хранилище?

Воспользуйтесь метрикой ch_s3_disk_parts_size в сервисе Yandex Monitoring. Она показывает, какой объем занимают куски таблиц MergeTree в сервисе Object Storage. Метрика доступна только для кластеров Managed Service for ClickHouse® с настроенным гибридным хранилищем. Подробнее о том, как выполнить запрос с метрикой, см. в руководстве.

Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?Как настроить алерт, который срабатывает при заполнении определенного процента дискового пространства?

Создайте алерт с метрикой disk.used_bytes в сервисе Yandex Monitoring. Метрика показывает размер использованного дискового пространства в кластере Managed Service for ClickHouse®.

Для disk.used_bytes используются пороги для оповещения. Их рекомендуемые значения:

• Alarm — 95% дискового пространства.
• Warning — 80% дискового пространства.

Значения порогов задаются только в байтах. Например, рекомендуемые значения для диска размером в 100 ГБ:

• Alarm — 102005473280 байт (95%).
• Warning — 85899345920 байт (80%).