Просмотр логов кластера Greenplum®

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

1. Просмотрите описание команды CLI для просмотра логов кластера:

   yc managed-greenplum cluster list-logs --help
   

2. Запустите команду получения логов кластера (в примере приведены не все доступные параметры):

   yc managed-greenplum cluster list-logs <имя_или_идентификатор_кластера> \
      --limit <ограничение_количества_записей> \
      --format <формат_вывода> \
      --service-type <тип_сервиса> \
      --columns <список_колонок_для_вывода_информации> \
      --filter <настройки_фильтрации_записей> \
      --since <левая_граница_временного_диапазона> \
      --until <правая_граница_временного_диапазона>
   

   Где:

   • --limit — ограничение на количество выводимых записей.

   • --format — формат, в котором будут представлены записи логов (text, yaml, json или json-rest).

   • --service-type — тип сервиса, для которого требуется вывести записи:

     • greenplum — лог операций Greenplum®.
     • greenplum-pooler— лог операций менеджера подключений.
     • greenplum-pxf — лог протокола PXF.

   • --columns — список колонок для вывода информации:

     • hostname — имя хоста.
     • level — уровень логирования, например, info.
     • pid — идентификатор серверного процесса текущей сессии.
     • text — сообщение, которое выводит компонент.

     Примечание

     Список выводимых колонок зависит от выбранного типа сервиса --service-type. В примере приведены только основные колонки для типа greenplum-pooler.

     Для вывода отдельных колонок передайте ключ --format с указанием формата вывода (yaml, json или json-rest). Колонки не поддерживаются для формата вывода text (установлен по умолчанию).

   • --filter — настройки фильтрации записей, например, message.hostname='node1.mdb.yandexcloud.net'.

   • --since — левая граница временного диапазона в формате RFC-3339, HH:MM:SS или временного промежутка относительно текущего времени. Примеры: 2006-01-02T15:04:05Z, 15:04:05, 2h, 3h30m ago.

   • --until — правая граница временного диапазона, формат аналогичен --since.

Имя и идентификатор кластера можно запросить со списком кластеров в каталоге.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.ListLogs и выполните запрос, например, с помощью cURL:

   curl \
       --request GET \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --url 'https://mdb.api.cloud.yandex.net/managed-greenplum/v1/clusters/<идентификатор_кластера>:logs' \
       --url-query serviceType=<тип_сервиса> \
       --url-query columnFilter=<название_колонки> \
       --url-query fromTime=<левая_граница_временного_диапазона> \
       --url-query toTime=<правая_граница_временного_диапазона>
   

   Где:

   • serviceType — тип сервиса, для которого нужно запросить логи:

     • GREENPLUM — операции Greenplum®;
     • GREENPLUM_POOLER — операции менеджера подключений;
     • GREENPLUM_PXF — протокол PXF.

   • columnFilter — название колонки для вывода информации:

     • hostname — имя хоста.
     • level — уровень логирования, например info.
     • pid — идентификатор серверного процесса текущей сессии.
     • text — сообщение, которое выводит компонент.

     Примечание

     Список выводимых колонок зависит от выбранного типа сервиса serviceType. В примере приведены только основные колонки для типа GREENPLUM_POOLER.

     В одном параметре columnFilter можно указать только одну колонку. Если необходимо отфильтровать логи по нескольким колонкам, передайте перечень нужных колонок в нескольких параметрах.

   • fromTime — левая граница временного диапазона в формате RFC-3339. Пример: 2006-01-02T15:04:05Z.
   • toTime — правая граница временного диапазона, формат аналогичен fromTime.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService.ListLogs и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/greenplum/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "cluster_id": "<идентификатор_кластера>",
             "column_filter": [
               "<колонка_1>", "<колонка_2>", ..., "<колонка_N>"
             ],
             "service_type": "<тип_сервиса>",
             "from_time": "<левая_граница_временного_диапазона>",
             "to_time": "<правая_граница_временного_диапазона>"
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.greenplum.v1.ClusterService.ListLogs
   

   Где:

   • service_type — тип сервиса, для которого нужно запросить логи:

     • GREENPLUM — операции Greenplum®;
     • GREENPLUM_POOLER — операции менеджера подключений;
     • GREENPLUM_PXF — протокол PXF.

   • column_filter — список колонок для вывода информации:

     • hostname — имя хоста.
     • level — уровень логирования, например info.
     • pid — идентификатор серверного процесса текущей сессии.
     • text — сообщение, которое выводит компонент.

     Примечание

     Список выводимых колонок зависит от выбранного типа сервиса serviceType. В примере приведены только основные колонки для типа GREENPLUM_POOLER.

     В параметре column_filter можно указать несколько колонок, если нужно отфильтровать логи по нескольким колонкам.

   • from_time — левая граница временного диапазона в формате RFC-3339. Пример: 2006-01-02T15:04:05Z.
   • to_time — правая граница временного диапазона, формат аналогичен from_time.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.StreamLogs и выполните запрос, например, с помощью cURL:

   curl \
       --request GET \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --url 'https://mdb.api.cloud.yandex.net/managed-greenplum/v1/clusters/<идентификатор_кластера>:stream_logs' \
       --url-query serviceType=<тип_сервиса> \
       --url-query columnFilter=<название_колонки> \
       --url-query fromTime=<левая_граница_временного_диапазона> \
       --url-query toTime=<правая_граница_временного_диапазона> \
       --url-query filter=<фильтр_логов>
   

   Где:

   • serviceType — тип сервиса, для которого нужно запросить логи:

     • GREENPLUM — операции Greenplum®;
     • GREENPLUM_POOLER — операции менеджера подключений;
     • GREENPLUM_PXF — протокол PXF.

   • columnFilter — название колонки для вывода информации:

     • hostname — имя хоста.
     • level — уровень логирования, например info.
     • pid — идентификатор серверного процесса текущей сессии.
     • text — сообщение, которое выводит компонент.

     Примечание

     Список выводимых колонок зависит от выбранного типа сервиса serviceType. В примере приведены только основные колонки для типа GREENPLUM_POOLER.

     В одном параметре columnFilter можно указать только одну колонку. Если необходимо отфильтровать логи по нескольким колонкам, передайте перечень нужных колонок в нескольких параметрах.

   • fromTime — левая граница временного диапазона в формате RFC-3339. Пример: 2006-01-02T15:04:05Z.

   • toTime — правая граница временного диапазона, формат аналогичен fromTime.

     Если не указывать этот параметр, то в поток логов будут отсылаться новые логи по мере их появления. Это поведение семантически эквивалентно tail -f.

   • filter — фильтр логов, например message.hostname='node1.mdb.yandexcloud.net'.

     Подробнее о фильтрах и их синтаксисе см. в справочнике API.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService.StreamLogs и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/greenplum/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "cluster_id": "<идентификатор_кластера>",
             "column_filter": [
               "<колонка_1>", "<колонка_2>", ..., "<колонка_N>"
             ],
             "service_type": "<тип_сервиса>",
             "from_time": "<левая_граница_временного_диапазона>",
             "to_time": "<правая_граница_временного_диапазона>",
             "filter": "<фильтр_логов>"
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.greenplum.v1.ClusterService.StreamLogs
   

   Где:

   • service_type — тип сервиса, для которого нужно запросить логи:

     • GREENPLUM — операции Greenplum®;
     • GREENPLUM_POOLER — операции менеджера подключений;
     • GREENPLUM_PXF — протокол PXF.

   • column_filter — список колонок для вывода информации:

     • hostname — имя хоста.
     • level — уровень логирования, например info.
     • pid — идентификатор серверного процесса текущей сессии.
     • text — сообщение, которое выводит компонент.

     Примечание

     Список выводимых колонок зависит от выбранного типа сервиса service_type. В примере приведены только основные колонки для типа GREENPLUM_POOLER.

     В параметре column_filter можно указать несколько колонок, если нужно отфильтровать логи по нескольким колонкам.

   • from_time — левая граница временного диапазона в формате RFC-3339. Пример: 2006-01-02T15:04:05Z.

   • to_time — правая граница временного диапазона, формат аналогичен from_time.

     Если не указывать этот параметр, то в поток логов будут отсылаться новые логи по мере их появления. Это поведение семантически эквивалентно tail -f.

   • filter — фильтр логов, например message.hostname='node1.mdb.yandexcloud.net'.

     Подробнее о фильтрах и их синтаксисе см. в справочнике API.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.