Просмотр логов кластера Greenplum®

Статья создана

Улучшена

Обновлена 7 мая 2025 г.

Получить лог кластера
Получить поток логов кластера

Managed Service for Greenplum® позволяет получить фрагмент логов кластера за выбранный период и просматривать логи в реальном времени.

Примечание

Логи кластера хранятся 30 дней.

Получить лог кластера

Консоль управления

CLI

REST API

gRPC API

Перейдите на страницу каталога и выберите сервис Managed Service for Greenplum.
Нажмите на имя нужного кластера и выберите вкладку Логи.
Укажите период времени, за который нужно отобразить логи: введите его вручную или выберите в календаре, нажав на поле ввода дат.
Выберите тип сервиса, для которого требуется вывести логи:
- GREENPLUM — лог операций Greenplum®.
- GREENPLUM_POOLER — лог операций менеджера подключений.
- GREENPLUM_PXF — лог протокола PXF.
При необходимости выберите хосты и уровень логирования.

Будет отображен список записей в логе за выбранный период времени. Чтобы посмотреть подробную информацию о событии, нажмите на интересующую запись в списке.

Если записей слишком много и отображается только часть из них, нажмите на кнопку Загрузить еще в конце списка.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Просмотрите описание команды CLI для просмотра логов кластера:
```
yc managed-greenplum cluster list-logs --help
```
Запустите команду получения логов кластера (в примере приведены не все доступные параметры):
```
yc managed-greenplum cluster list-logs <имя_или_идентификатор_кластера> \
   --limit <ограничение_количества_записей> \
   --format <формат_вывода> \
   --service-type <тип_сервиса> \
   --columns <список_колонок_для_вывода_информации> \
   --filter <настройки_фильтрации_записей> \
   --since <левая_граница_временного_диапазона> \
   --until <правая_граница_временного_диапазона>
```
Где:
- --limit — ограничение на количество выводимых записей.
- --format — формат, в котором будут представлены записи логов (text, yaml, json или json-rest).
- --service-type — тип сервиса, для которого требуется вывести записи:
  - greenplum — лог операций Greenplum®.
  - greenplum-pooler— лог операций менеджера подключений.
  - greenplum-pxf — лог протокола PXF.
- --columns — список колонок для вывода информации:
  - hostname — имя хоста.
  - level — уровень логирования, например, info.
  - pid — идентификатор серверного процесса текущей сессии.
  - text — сообщение, которое выводит компонент.
  Примечание
  
  Список выводимых колонок зависит от выбранного типа сервиса --service-type. В примере приведены только основные колонки для типа greenplum-pooler.
  
  Для вывода отдельных колонок передайте ключ --format с указанием формата вывода (yaml, json или json-rest). Колонки не поддерживаются для формата вывода text (установлен по умолчанию).
- --filter — настройки фильтрации записей, например, message.hostname='node1.mdb.yandexcloud.net'.
- --since — левая граница временного диапазона в формате RFC-3339, HH:MM:SS или временного промежутка относительно текущего времени. Примеры: 2006-01-02T15:04:05Z, 15:04:05, 2h, 3h30m ago.
- --until — правая граница временного диапазона, формат аналогичен --since.

Имя и идентификатор кластера можно запросить со списком кластеров в каталоге.

Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
```
export IAM_TOKEN="<IAM-токен>"
```
Воспользуйтесь методом Cluster.ListLogs и выполните запрос, например, с помощью cURL:
```
curl \
    --request GET \
    --header "Authorization: Bearer $IAM_TOKEN" \
    --url 'https://mdb.api.cloud.yandex.net/managed-greenplum/v1/clusters/<идентификатор_кластера>:logs' \
    --url-query serviceType=<тип_сервиса> \
    --url-query columnFilter=<название_колонки> \
    --url-query fromTime=<левая_граница_временного_диапазона> \
    --url-query toTime=<правая_граница_временного_диапазона>
```
Где:
- serviceType — тип сервиса, для которого нужно запросить логи:
  - GREENPLUM — операции Greenplum®;
  - GREENPLUM_POOLER — операции менеджера подключений;
  - GREENPLUM_PXF — протокол PXF.
- columnFilter — название колонки для вывода информации:
  - hostname — имя хоста.
  - level — уровень логирования, например info.
  - pid — идентификатор серверного процесса текущей сессии.
  - text — сообщение, которое выводит компонент.
  Примечание
  
  Список выводимых колонок зависит от выбранного типа сервиса serviceType. В примере приведены только основные колонки для типа GREENPLUM_POOLER.
  
  В одном параметре columnFilter можно указать только одну колонку. Если необходимо отфильтровать логи по нескольким колонкам, передайте перечень нужных колонок в нескольких параметрах.
- fromTime — левая граница временного диапазона в формате RFC-3339. Пример: 2006-01-02T15:04:05Z.
- toTime — правая граница временного диапазона, формат аналогичен fromTime.
Идентификатор кластера можно запросить со списком кластеров в каталоге.
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
```
export IAM_TOKEN="<IAM-токен>"
```
Клонируйте репозиторий cloudapi:
```
cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
```
Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.
Воспользуйтесь вызовом ClusterService.ListLogs и выполните запрос, например, с помощью gRPCurl:
```
grpcurl \
    -format json \
    -import-path ~/cloudapi/ \
    -import-path ~/cloudapi/third_party/googleapis/ \
    -proto ~/cloudapi/yandex/cloud/mdb/greenplum/v1/cluster_service.proto \
    -rpc-header "Authorization: Bearer $IAM_TOKEN" \
    -d '{
          "cluster_id": "<идентификатор_кластера>",
          "column_filter": [
            "<колонка_1>", "<колонка_2>", ..., "<колонка_N>"
          ],
          "service_type": "<тип_сервиса>",
          "from_time": "<левая_граница_временного_диапазона>",
          "to_time": "<правая_граница_временного_диапазона>"
        }' \
    mdb.api.cloud.yandex.net:443 \
    yandex.cloud.mdb.greenplum.v1.ClusterService.ListLogs
```
Где:
- service_type — тип сервиса, для которого нужно запросить логи:
  - GREENPLUM — операции Greenplum®;
  - GREENPLUM_POOLER — операции менеджера подключений;
  - GREENPLUM_PXF — протокол PXF.
- column_filter — список колонок для вывода информации:
  - hostname — имя хоста.
  - level — уровень логирования, например info.
  - pid — идентификатор серверного процесса текущей сессии.
  - text — сообщение, которое выводит компонент.
  Примечание
  
  Список выводимых колонок зависит от выбранного типа сервиса serviceType. В примере приведены только основные колонки для типа GREENPLUM_POOLER.
  
  В параметре column_filter можно указать несколько колонок, если нужно отфильтровать логи по нескольким колонкам.
- from_time — левая граница временного диапазона в формате RFC-3339. Пример: 2006-01-02T15:04:05Z.
- to_time — правая граница временного диапазона, формат аналогичен from_time.
Идентификатор кластера можно запросить со списком кластеров в каталоге.
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Получить поток логов кластера

Этот способ позволяет получать логи кластера в реальном времени.

CLI