Просмотр логов кластера Apache Kafka®

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

1. Просмотрите описание команды CLI для просмотра логов кластера:

   yc managed-kafka cluster list-logs --help
   

2. Запустите команду получения логов кластера (в примере приведены не все доступные параметры):

   yc managed-kafka cluster list-logs <имя_или_идентификатор_кластера> \
      --limit <ограничение_количества_записей> \
      --columns <список_колонок_лога> \
      --filter <настройки_фильтрации_записей> \
      --since <левая_граница_временного_диапазона> \
      --until <правая_граница_временного_диапазона>
   

   Где:

   • --limit — ограничение на количество выводимых записей.

   • --columns — список колонок лога, из которых будет выводиться информация:

     • hostname — имя хоста.
     • message — сообщение, которое выводит компонент.
     • severity — уровень логирования. Пример выводимого значения: INFO.
     • origin — источник сообщения. Примеры выводимых значений: kafka_server или kafka_controller.

   • --filter — настройки фильтрации записей, например, message.hostname='node1.mdb.yandexcloud.net'.

   • --since — левая граница временного диапазона в формате RFC-3339, HH:MM:SS или временного промежутка относительно текущего времени. Примеры: 2006-01-02T15:04:05Z, 15:04:05, 2h, 3h30m ago.

   • --until — правая граница временного диапазона, формат аналогичен --since.

Имя и идентификатор кластера можно запросить со списком кластеров в каталоге.

Чтобы получить лог кластера, воспользуйтесь методом REST API listLogs для ресурса Cluster или вызовом gRPC API ClusterService/ListLogs и передайте в запросе идентификатор кластера в параметре clusterId.

Вы получите полный лог кластера. Количество записей лога, которое может вернуть кластер, не должно превышать 100000 (100 страниц по 1000 записей на каждой).

Если размер лога превышает это значение или требуется получить логи за конкретный период времени, передайте в параметрах запроса fromTime и toTime границы диапазона в формате RFC-3339.

Идентификатор кластера можно получить со списком кластеров в каталоге.

Чтобы получить поток логов кластера, воспользуйтесь методом REST API streamLogs для ресурса Cluster или вызовом gRPC API ClusterService/StreamLogs и передайте в запросе идентификатор кластера в параметре clusterId.

Вы получите полный лог кластера. Количество записей лога, которое может вернуть кластер, не должно превышать 100000 (100 страниц по 1000 записей на каждой).

Если размер лога превышает это значение или требуется получить логи за конкретный период времени, передайте в параметрах запроса fromTime и toTime границы диапазона в формате RFC-3339.

Если не задавать значение параметра toTime, то в поток будут приходить новые записи лога по мере их появления.

Идентификатор кластера можно получить со списком кластеров в каталоге.