Диагностика производительности в Managed Service for PostgreSQL
Managed Service for PostgreSQL предоставляет встроенный инструмент для диагностики производительности кластера СУБД. Этот инструмент помогает анализировать метрики производительности PostgreSQL для сессий и запросов.
О том, как выявить и устранить проблемы с производительностью кластера, см. в разделах Анализ производительности и оптимизация и Поиск проблем с производительностью кластера.
Активировать сбор статистики
Включите опцию Сбор статистики при создании кластера или изменении его настроек (по умолчанию опция отключена).
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name
или --folder-id
.
Чтобы включить сбор статистики, передайте параметр --performance-diagnostics
в команде изменения кластера:
yc managed-postgresql cluster update <имя_или_идентификатор_кластера> \
...
--performance-diagnostics enabled=true,`
`sessions-sampling-interval=<интервал_сбора_сессий>,`
`statements-sampling-interval=<интервал_сбора_запросов> \
...
Допустимые значения параметров:
sessions-sampling-interval
— от1
до86400
секунд.statements-sampling-interval
— от60
до86400
секунд.
-
Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.
О том, как создать такой файл, см. в разделе Создание кластера.
Полный список доступных для изменения полей конфигурации кластера Managed Service for PostgreSQL см. в документации провайдера Terraform
. -
Чтобы настроить сбор статистики, добавьте в блок
config
блокperformance_diagnostics
:resource "yandex_mdb_postgresql_cluster" "<имя_кластера>" { ... config { ... performance_diagnostics { enabled = <активация_сбора_статистики> sessions_sampling_interval = <интервал_сбора_сессий> statements_sampling_interval = <интервала_сбора_запросов> } ... } ... }
Где:
enabled
— активация сбора статистики:true
илиfalse
.sessions_sampling_interval
— интервал сбора сессий от1
до86400
секунд.statements_sampling_interval
— интервала сбора запросов от60
до86400
секунд.
-
Проверьте корректность настроек.
-
В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
-
Выполните команду:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
-
Подтвердите изменение ресурсов.
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
Ограничения по времени
Провайдер Terraform ограничивает время на выполнение операций с кластером Managed Service for PostgreSQL:
- создание, в том числе путем восстановления из резервной копии, — 30 минут;
- изменение — 60 минут;
- удаление — 15 минут.
Операции, длящиеся дольше указанного времени, прерываются.
Как изменить эти ограничения?
Добавьте к описанию кластера блок
timeouts
, например:resource "yandex_mdb_postgresql_cluster" "<имя_кластера>" { ... timeouts { create = "1h30m" # Полтора часа update = "2h" # 2 часа delete = "30m" # 30 минут } }
-
-
Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
export IAM_TOKEN="<IAM-токен>"
-
Чтобы включить сбор статистики при создании кластера:
-
Воспользуйтесь методом Cluster.Create и добавьте параметр
configSpec.performanceDiagnostics
в команду cURL по созданию кластера:curl \ --request POST \ --header "Authorization: Bearer $IAM_TOKEN" \ --header "Content-Type: application/json" \ --url 'https://mdb.api.cloud.yandex.net/managed-postgresql/v1/clusters' \ --data '{ "configSpec": { "performanceDiagnostics": { "enabled": <активация_сбора_статистики:_true_или_false>, "sessionsSamplingInterval": "<интервал_сбора_сессий>", "statementsSamplingInterval": "<интервала_сбора_запросов>" }, ... }, ... }'
Где
configSpec.performanceDiagnostics
— настройки сбора статистики:enabled
— активация сбора статистики.sessionsSamplingInterval
— интервал сбора сессий. Допустимые значения — от1
до86400
секунд.statementsSamplingInterval
— интервал сбора запросов. Допустимые значения — от60
до86400
секунд.
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
-
-
Чтобы включить сбор статистики при изменении существующего кластера:
-
Воспользуйтесь методом Cluster.Update и выполните запрос, например, с помощью cURL
:Важно
Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре
updateMask
(одной строкой через запятую).curl \ --request PATCH \ --header "Authorization: Bearer $IAM_TOKEN" \ --header "Content-Type: application/json" \ --url 'https://mdb.api.cloud.yandex.net/managed-postgresql/v1/clusters/<идентификатор_кластера>' \ --data '{ "updateMask": "configSpec.performanceDiagnostics", "configSpec": { "performanceDiagnostics": { "enabled": <активация_сбора_статистики:_true_или_false>, "sessionsSamplingInterval": "<интервал_сбора_сессий>", "statementsSamplingInterval": "<интервала_сбора_запросов>" } } }'
Где
configSpec.performanceDiagnostics
— настройки сбора статистики:enabled
— активация сбора статистики.sessionsSamplingInterval
— интервал сбора сессий. Допустимые значения — от1
до86400
секунд.statementsSamplingInterval
— интервал сбора запросов. Допустимые значения — от60
до86400
секунд.
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
-
-
Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
export IAM_TOKEN="<IAM-токен>"
-
Клонируйте репозиторий cloudapi
:cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
Далее предполагается, что содержимое репозитория находится в директории
~/cloudapi/
. -
Чтобы включить сбор статистики при создании кластера:
-
Воспользуйтесь методом ClusterService.Create и добавьте параметр
config_spec.performance_diagnostics
в команду grpcurl по созданию кластера:grpcurl \ -format json \ -import-path ~/cloudapi/ \ -import-path ~/cloudapi/third_party/googleapis/ \ -proto ~/cloudapi/yandex/cloud/mdb/postgresql/v1/cluster_service.proto \ -rpc-header "Authorization: Bearer $IAM_TOKEN" \ -d '{ "config_spec": { "performance_diagnostics": { "enabled": <активация_сбора_статистики:_true_или_false>, "sessions_sampling_interval": "<интервал_сбора_сессий>", "statements_sampling_interval": "<интервала_сбора_запросов>" }, ... }, ... }' \ mdb.api.cloud.yandex.net:443 \ yandex.cloud.mdb.postgresql.v1.ClusterService.Create
Где
config_spec.performance_diagnostics
— настройки сбора статистики:enabled
— активация сбора статистики.sessions_sampling_interval
— интервал сбора сессий. Допустимые значения — от1
до86400
секунд.statements_sampling_interval
— интервал сбора запросов. Допустимые значения — от60
до86400
секунд.
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
-
-
Чтобы включить сбор статистики при изменении существующего кластера:
-
Воспользуйтесь вызовом ClusterService.Update и выполните запрос, например, с помощью gRPCurl
:Важно
Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре
update_mask
(в виде массива строкpaths[]
).Формат перечисления настроек
"update_mask": { "paths": [ "<настройка_1>", "<настройка_2>", ... "<настройка_N>" ] }
grpcurl \ -format json \ -import-path ~/cloudapi/ \ -import-path ~/cloudapi/third_party/googleapis/ \ -proto ~/cloudapi/yandex/cloud/mdb/postgresql/v1/cluster_service.proto \ -rpc-header "Authorization: Bearer $IAM_TOKEN" \ -d '{ "cluster_id": "<идентификатор_кластера>", "update_mask": { "paths": [ "config_spec.performance_diagnostics" ] }, "config_spec": { "performance_diagnostics": { "enabled": <активация_сбора_статистики:_true_или_false>, "sessions_sampling_interval": "<интервал_сбора_сессий>", "statements_sampling_interval": "<интервала_сбора_запросов>" } } }' \ mdb.api.cloud.yandex.net:443 \ yandex.cloud.mdb.postgresql.v1.ClusterService.Update
Где
config_spec.performance_diagnostics
— настройки сбора статистики:enabled
— активация сбора статистики.sessions_sampling_interval
— интервал сбора сессий. Допустимые значения — от1
до86400
секунд.statements_sampling_interval
— интервал сбора запросов. Допустимые значения — от60
до86400
секунд.
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
-
Получить статистику по сессиям
- В консоли управления
перейдите на страницу каталога и выберите сервис Managed Service for PostgreSQL. - Нажмите на имя нужного кластера и выберите вкладку Диагностика производительности → Сессии.
Для просмотра статистики по сессиям:
- Задайте интересующий временной интервал.
- (Опционально) Настройте фильтры.
- Выберите нужный срез данных.
Чтобы показать или скрыть отдельные категории, нажмите на имя категории в легенде графика.
Для просмотра истории запросов в рамках сессии:
- Задайте интересующий временной интервал.
- (Опционально) Настройте фильтры.
-
Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
export IAM_TOKEN="<IAM-токен>"
-
Клонируйте репозиторий cloudapi
:cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
Далее предполагается, что содержимое репозитория находится в директории
~/cloudapi/
. -
Воспользуйтесь вызовом PerformanceDiagnosticsService.ListRawSessionStates и выполните запрос, например, с помощью gRPCurl
:grpcurl \ -format json \ -import-path ~/cloudapi/ \ -import-path ~/cloudapi/third_party/googleapis/ \ -proto ~/cloudapi/yandex/cloud/mdb/postgresql/v1/perf_diag_service.proto \ -rpc-header "Authorization: Bearer $IAM_TOKEN" \ -d '{ "cluster_id": "<идентификатор_кластера>", "from_time": "<левая_граница_временного_диапазона>", "to_time": "<правая_граница_временного_диапазона>" }' \ mdb.api.cloud.yandex.net:443 \ yandex.cloud.mdb.postgresql.v1.PerformanceDiagnosticsService.ListRawSessionStates
Где:
from_time
— левая граница временного диапазона в формате RFC-3339 . Пример:2024-09-18T15:04:05Z
.to_time
— правая граница временного диапазона, формат аналогиченfrom_time
.
Идентификатор кластера можно запросить со списком кластеров в каталоге.
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
Подробнее про отображаемые сведения см. в документации PostgreSQL
Получить статистику по запросам
- В консоли управления
перейдите на страницу каталога и выберите сервис Managed Service for PostgreSQL. - Нажмите на имя нужного кластера и выберите вкладку Диагностика производительности → Запросы.
Для просмотра статистики запросов за интервал:
- Выберите интересующий временной интервал.
- (Опционально) Настройте фильтры.
Чтобы получить сведения об относительном изменении статистических характеристик запросов:
- В поле Интервал 1 выберите временной интервал, статистика за который будет основой для расчетов.
- В поле Интервал 2 выберите временной интервал, статистика за который будет сравниваться со статистикой первого интервала.
- (Опционально) Настройте фильтры.
Например, пусть в первом интервале было выполнено 10 запросов SELECT * FROM cities
, а во втором — 20. Тогда при сравнении статистических данных разница по метрике количество запросов
(столбец Calls
в таблице) будет равняться +100%
.
-
Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
export IAM_TOKEN="<IAM-токен>"
-
Клонируйте репозиторий cloudapi
:cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
Далее предполагается, что содержимое репозитория находится в директории
~/cloudapi/
. -
Воспользуйтесь вызовом PerformanceDiagnosticsService.ListRawStatements и выполните запрос, например, с помощью gRPCurl
:grpcurl \ -format json \ -import-path ~/cloudapi/ \ -import-path ~/cloudapi/third_party/googleapis/ \ -proto ~/cloudapi/yandex/cloud/mdb/postgresql/v1/perf_diag_service.proto \ -rpc-header "Authorization: Bearer $IAM_TOKEN" \ -d '{ "cluster_id": "<идентификатор_кластера>", "from_time": "<левая_граница_временного_диапазона>", "to_time": "<правая_граница_временного_диапазона>" }' \ mdb.api.cloud.yandex.net:443 \ yandex.cloud.mdb.postgresql.v1.PerformanceDiagnosticsService.ListRawStatements
Где:
from_time
— левая граница временного диапазона в формате RFC-3339 . Пример:2024-09-18T15:04:05Z
.to_time
— правая граница временного диапазона, формат аналогиченfrom_time
.
Идентификатор кластера можно запросить со списком кластеров в каталоге.
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
Подробнее про отображаемые сведения см. в документации расширений pg_stat_statements
Получить информацию о плане выполнения запроса
Модуль auto_explain
EXPLAIN
Чтобы включить логирование запросов, измените настройки СУБД:
-
В поле Shared preload libraries выберите значение
auto_explain
. -
Включите настройку Auto explain log analyze.
-
Задайте настройки модуля
auto_explain
:Важно
Установка значения
0
для настройки Auto explain log min duration или включение настройки Auto explain log timing могут существенно снизить производительность кластера.