Мониторинг состояния кластера Apache Hive™ Metastore

1. В консоли управления выберите каталог.

2. Перейдите в сервис Yandex MetaData Hub.

3. На панели слева выберите  Metastore-сервер.

4. Нажмите на имя нужного кластера и выберите вкладку Мониторинг.

5. Чтобы перейти к работе с метриками, дашбордами или алертами в сервисе Yandex Monitoring, нажмите кнопку Открыть в Monium на панели сверху.

На странице отображаются графики:

• В блоке API:

  • API Calls (rps) — методы с наибольшим количеством выполненных запросов для каждого инстанса кластера. Список методов обновляется динамически. График может отображать до десяти методов.
  • API Latency (p95) — 95-й процентиль общего времени выполнения запросов с разбивкой по инстансам.
  • Active Calls — количество находящихся в обработке запросов.
  • API Latency by method (p95) — методы с наибольшим 95-м процентилем времени выполнения запросов для каждого инстанса кластера. Список методов обновляется динамически. График может отображать до десяти методов.

• В блоке Transactions & Errors:

  • Open Transactions / Connections — количество активных транзакций и подключений:
    • Open Transactions — количество активных ACID-транзакций.
    • Open Connections — количество активных подключений к кластеру Apache Hive™ Metastore по протоколу Thrift.
  • Compaction Cycle Duration — продолжительность цикла сжатия.
  • DirectSQL Errors — количество ошибок при выполнении DirectSQL-запросов, после которых Apache Hive™ Metastore перешел к выполнению запросов через JDO.

• В блоке Connection Pools (только для Apache Hive™ Metastore версии 4.2):

  • Connection States — количество JDBC-подключений:

    • Active Connections — активные подключения.
    • Idle Connections — простаивающие подключения.
    • Pending Connections — количество запросов, ожидающих выделения подключения.
    • Total Connections — общее количество подключений.

  • Pool Usage (p95) — 95-й процентиль времени, в течение которого приложение удерживает установленное подключение.

  • Connection Creation (p95) — 95-й процентиль продолжительности создания подключения.

  • Pool Connection Timeouts (rps) — количество запросов в секунду, завершившихся таймаутом из-за отсутствия доступных подключений.

• В блоке DB Objects:

  • Object Counts — количество баз данных, таблиц и партиций в хранилище кластера Apache Hive™ Metastore.
  • Object Operations (rps) — количество операций создания и удаления баз данных, таблиц и партиций в секунду.

• В блоке Resources:

  • Instances — количество инстансов в кластере.
  • CPU Usage — использование процессорного времени каждым инстансом в процентах от общего количества доступного времени.
  • Memory Usage — использование оперативной памяти каждым инстансом в процентах от общего объема доступной памяти.

• В блоке JVM Memory:

  • JVM Heap — максимальный объем heap-памяти JVM и ее использование каждым инстансом.
  • JVM Memory Pools — пулы с наибольшим объемом использованной каждым инстансом памяти JVM. График отображает до шести пулов. Список пулов формируется динамически.

• В блоке JVM Runtime:

  • GC Rate — скорость работы сборщиков мусора старого (G1_Old_Generation) и нового (G1_Young_Generation) поколения на каждом инстансе.
  • JVM Pauses — количество остановок всех потоков JVM, длительность которых превысила заданные пороги для информирования и предупреждения.

1. В консоли управления выберите каталог с кластером, для которого нужно настроить алерты.
2. Перейдите в сервис Monitoring.
3. В блоке Сервисные дашборды выберите Managed Service For Hive Metastore — Cluster Overview.
4. На нужном графике нажмите на значок и выберите пункт Создать алерт.
5. Если на графике несколько показателей, выберите запрос данных для формирования метрики и нажмите Продолжить. Подробнее о языке запросов в документации Yandex Monitoring.
6. Задайте пороговые значения Alarm и Warning для срабатывания алерта.
7. Нажмите кнопку Создать алерт.

1. Создайте алерт.
2. Добавьте метрику состояния.
3. В параметрах алерта задайте значения порогов для оповещения.