Мониторинг кластера Yandex Managed Service for Kubernetes с помощью Prometheus Operator с поддержкой Yandex Monitoring

Managed Service for Kubernetes позволяет выгружать метрики объектов кластера в системы мониторинга.

Из этой статьи вы узнаете, как настроить мониторинг кластера Yandex Managed Service for Kubernetes с помощью Prometheus Operator с поддержкой Yandex Monitoring.

Prometheus Operator с поддержкой Monitoring упрощает установку Prometheus Operator, популярного решения для мониторига кластеров Kubernetes, и добавляет интеграцию с системой мониторинга Yandex Monitoring. С ее помощью можно собирать, хранить и читать метрики из контейнеров, приложений и инфраструктуры. Система использует модель данных Prometheus и язык запросов PromQL.

Чтобы настроить мониторинг кластера Managed Service for Kubernetes:

1. Установите Prometheus Operator с помощью Helm-чарта или Yandex Cloud Marketplace.
2. Настройте и проверьте алерты.
3. Визуализируйте метрики.

Если созданные ресурсы вам больше не нужны, удалите их.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки описываемого решения входят:

• Плата за мастер Managed Service for Kubernetes: (см. тарифы Managed Service for Kubernetes).
• Плата за узлы кластера Managed Service for Kubernetes: использование вычислительных ресурсов и хранилища (см. тарифы Yandex Compute Cloud).
• Плата за публичные IP-адреса для хостов кластера Managed Service for Kubernetes и узлов кластера Managed Service for Kubernetes, если для них включен публичный доступ (см. тарифы Yandex Virtual Private Cloud).

Перед началом работыПеред началом работы

1. Создайте группы безопасности для кластера Managed Service for Kubernetes и входящих в него групп узлов.

   Важно

   От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

2. Создайте кластер Managed Service for Kubernetes и группу узлов любой подходящей конфигурации с доступом в интернет и с группами безопасности, подготовленными ранее.

3. Установите kubectl и настройте его на работу с созданным кластером.

4. Создайте сервисный аккаунт с ролью monitoring.editor.

5. Создайте API-ключ для сервисного аккаунта:

   • Если вы будете устанавливать Prometheus Operator с помощью Helm-чарта, выполните команду и сохраните полученный секретный ключ (secret):

     yc iam api-key create --service-account-name=<имя_сервисного_аккаунта>
     

   • Если вы будете устанавливать Prometheus Operator с помощью Cloud Marketplace, создайте API-ключ в формате JSON и сохраните его в файл sa-key.json:

     yc iam api-key create \
        --service-account-name=<имя_сервисного_аккаунта> \
        --format=json | jq -c > sa-key.json
     

     Совет

     Вы также можете автоматически создать новый API-ключ во время установки приложения.

6. Создайте воркспейс Prometheus:

   Консоль управления

   1. Откройте главную страницу сервиса Monitoring.
   2. На панели слева выберите Prometheus.
   3. Нажмите кнопку Создать воркспейс.

Установите Prometheus Operator с помощью Helm-чартаУстановите Prometheus Operator с помощью Helm-чарта

1. Установите менеджер пакетов Helm версии не ниже 3.8.0.

2. Получите идентификатор воркспейса Prometheus:

   Консоль управления

   1. Откройте главную страницу сервиса Monitoring.
   2. Слева выберите раздел Prometheus.
   3. Выберите воркспейс Prometheus.
   4. Откроется вкладка Общая информация, где отображается идентификатор воркспейса — сохраните его.

3. Чтобы установить Helm-чарт с Prometheus Operator, выполните команду:

   helm pull oci://cr.yandex/yc-marketplace/yandex-cloud/prometheus/kube-prometheus-stack \
     --version 72.6.2-1 \
     --untar && \
   helm install \
     --namespace <пространство_имен_для_Prometheus_Operator> \
     --create-namespace \
     --set prometheusWorkspaceId=<идентификатор_воркспейса_Prometheus> \
     --set iam_api_key_value_generated.secretAccessKey=<секретная_часть_API-ключа> \
     prometheus ./kube-prometheus-stack/
   

   Эта команда также создаст новое пространство имен для работы Prometheus Operator.

   Если вы укажете в параметре namespace пространство имен по умолчанию, Prometheus Operator может работать некорректно. Используйте значение, отличное от всех существующих пространств имен, например prometheus-operator-space.

   Примечание

   Если вы используете версию Helm ниже 3.8.0, добавьте в начало команды строку export HELM_EXPERIMENTAL_OCI=1 && \, чтобы включить поддержку Open Container Initiative (OCI) в клиенте Helm.

4. Убедитесь, что поды Prometheus Operator перешли в состояние Running:

   kubectl get pods --namespace=<пространство_имен_для_Prometheus_Operator> \
      -l "release=prometheus"
   

Установите Prometheus Operator с помощью Cloud MarketplaceУстановите Prometheus Operator с помощью Cloud Marketplace

Настройте алертинг по метрикамНастройте алертинг по метрикам

1. Создайте канал уведомлений, выбрав доступный способ отправки.

2. Настройте Alert Manager, который отвечает за отправку уведомлений:

   1. Откройте главную страницу сервиса Monitoring.

   2. Слева выберите раздел Prometheus.

   3. Выберите воркспейс Prometheus.

   4. Перейдите на вкладку Конфигурация Alert manager.

   5. Нажмите кнопку Загрузить файл конфигурации и загрузите файл конфигурации в формате YAML.

      Пример файла конфигурации

      global:
        resolve_timeout: 5m
      route:
        receiver: telegram
        routes:
          - receiver: "null"
            matchers:
              - severity="none"
            continue: false
      
      receivers:
        - name: telegram
          yandex_monitoring_configs:
            - channel_names:
              - "<имя канала уведомлений>"
        - name: "null"
          yandex_monitoring_configs:
            - channel_names: []
      

3. Добавьте тестовое правило алертинга:

   cat <<EOF | kubectl apply -f -
   apiVersion: monitoring.coreos.com/v1                                                        
   kind: PrometheusRule
   metadata:
     labels:
       release: kube-prometheus-stack
     name: test
   spec:
     groups:
     - name: test
       rules:
         - alert: Test
           annotations:
             description: this is a test alert
             summary: test alert
           expr: vector(1)
           labels:
             severity: warning
   EOF
   

4. Дождитесь, пока в выбранный канал уведомлений придет алерт, или проверьте статус алерта в консоли управления:

   1. Откройте главную страницу сервиса Monitoring.
   2. Слева выберите раздел Prometheus.
   3. Выберите воркспейс Prometheus.
   4. Перейдите на вкладку Управление правилами.
   5. Нажмите на имя тестового алерта.
   6. Перейдите на вкладку Алерты.
   7. Убедитесь, что тестовый алерт перешел в состояние FIRING.

Визуализируйте метрикиВизуализируйте метрики

Постройте график на основе метрик и добавьте его на дашборд.

Постройте график по метрикамПостройте график по метрикам

Добавьте график на дашбордДобавьте график на дашборд

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите кластер Managed Service for Kubernetes.
2. Если вы зарезервировали для кластера Managed Service for Kubernetes публичный статический IP-адрес, удалите его.