Работа с логами

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

Посмотрите описание команды CLI для получения логов:

yc logging read --help

Примеры:

• Чтобы получить логи сервиса HDFS NameNode кластера Yandex Data Processing, выполните команду:

  yc logging read \
     --group-id=<идентификатор_лог-группы> \
     --resource-ids=<идентификатор_кластера> \
     --filter=log_type=hadoop-hdfs-namenode
  

• Чтобы получить логи за последние два часа от всех кластеров Yandex Data Processing, связанных с определенной лог-группой, выполните команду:

  yc logging read \
     --group-id=<идентификатор_лог-группы> \
     --resource-types=dataproc.cluster \
     --since=2h
  

• Чтобы получить системный лог кластера за определенный промежуток времени, выполните команду:

  yc logging read \
     --group-id <идентификатор_лог-группы> \
     --resource-ids=<идентификатор_кластера> \
     --filter 'syslog' \
     --since 'YYYY-MM-DDThh:mm:ssZ' \
     --until 'YYYY-MM-DDThh:mm:ssZ'
  

  В параметрах --since и --until укажите границы периода, за который надо запросить лог. Формат времени: YYYY-MM-DDThh:mm:ssZ. Пример: 2020-08-10T12:00:00Z. Время указывается в часовом поясе UTC.

• Чтобы получить лог по отправке метрик определенного хоста в сервис Yandex Monitoring, выполните команду:

  yc logging read \
     --group-id <идентификатор_лог-группы> \
     --resource-ids=<идентификатор_кластера> \
     --filter 'telegraf and hostname="<FQDN_хоста>"' \
     --since 'YYYY-MM-DDThh:mm:ssZ' \
     --until 'YYYY-MM-DDThh:mm:ssZ'
  

Чтобы получить FQDN хоста:

1. В [консоли управления](https://console.yandex.cloud) выберите каталог.
1. [Перейдите](https://console.yandex.cloud/link/data-proc) в сервис **Yandex Data Processing**.
1. Нажмите на имя нужного кластера.
1. Перейдите на вкладку **Хосты**.
1. Скопируйте FQDN хоста.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id. Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

При создании или изменении кластера передайте значение dataproc:disable_cloud_logging=true в параметре --property, либо передайте пустую строку ("") вместо идентификатора лог-группы в параметре --log-group-id:

yc dataproc cluster create <имя_кластера> \
   ... \
   --log-group-id=""

yc dataproc cluster update <имя_или_идентификатор_кластера> \
   --property dataproc:disable_cloud_logging=true