Мониторинг состояния кластера OpenSearch и хостов

• Process CPU — загрузка процессорных ядер, которую создает процесс JVM OpenSearch.

• Memory usage — использование оперативной памяти (в байтах).

• JVM heap percent — использование памяти кучи JVM (в процентах).

• Disk space usage percent — использование дискового пространства (в процентах).

• Shards count — количество шардов индексов.

• Primary shards count — количество первичных шардов индексов.

• Open file descriptors — количество открытых файловых дескрипторов.

• Indexing rate — скорость индексирования (операций/с).

• Search queries — количество запросов поиска в секунду.

• Write thread pool — запросы индексации, удаления или обновления документов.

• Average query time — среднее время выполнения запросов.

• Average indexing time — среднее время, затраченное на индексацию документов.

• Thread pool queued — количество запросов в очереди на выполнение.

• Thread pool rejected — количество отклоненных запросов.

• Merging time — время, затраченное на слияние документов.

• В блоке Disk Metrics Details:

  • Disk write latency (percentiles) — время записи на диск, по процентилям.
  • Disk write bytes — средняя и максимальная скорость записи на диск.
  • Disk write operations — среднее и максимальное количество операций записи в секунду.
  • Disk read latency (percentiles) — время чтения с диска, по процентилям.
  • Disk read bytes — средняя и максимальная скорость чтения с диска.
  • Disk read operations — среднее и максимальное количество операций чтения в секунду.
  • Disk write throttler latency (percentiles) — задержка записи, внесенная при превышении квоты диска, по процентилям.
  • Disk read throttler latency (percentiles) — задержка чтения, внесенная при превышении квоты диска, по процентилям.
  • Disk used quota — использование квоты для дисковых операций.

• Is Alive — статус доступности хоста.
• Requests Total — общее число запросов к хостам.
• Process CPU — загрузка процессорных ядер, которую создает процесс JVM OpenSearch.
• Memory usage — использование оперативной памяти (в байтах).
• Disk read/write bytes — скорость дисковых операций (байт/с).
• Disk IOPS — интенсивность дисковых операций (операций/с).
• Network Packets — интенсивность обмена данными по сети (пакетов/с).
• Network Bytes — скорость обмена данными по сети (байт/с).

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Чтобы узнать состояние и статус кластера, запросите информацию о нем:

yc managed-opensearch cluster get <имя_или_идентификатор_кластера>

Состояние кластера указано в параметре health, статус кластера — в параметре status.

Имя и идентификатор кластера можно запросить со списком кластеров в каталоге.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.Get и выполните запрос, например, с помощью cURL:

   curl \
       --request GET \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --url 'https://mdb.api.yandexcloud.kz/managed-opensearch/v1/clusters/<идентификатор_кластера>'
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

   Состояние и статус кластера указаны в параметрах health и status.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService.Get и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/opensearch/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "cluster_id": "<идентификатор_кластера>"
           }' \
       mdb.api.yandexcloud.kz:443 \
       yandex.cloud.mdb.opensearch.v1.ClusterService.Get
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

   Состояние и статус кластера указаны в параметрах health и status.