Связаться с намиПодключиться

Работа с логами

Статья создана
Улучшена
Обновлена 26 августа 2024 г.

Собирает и отображает логи кластера Yandex Data Processing сервис Yandex Cloud Logging.

Чтобы следить за событиями кластера и отдельных его хостов, укажите в его настройках нужную лог-группу. Это можно сделать при создании или изменении кластера. Если для кластера не выбрана лог-группа, то для отправки и хранения логов будет использована лог-группа по умолчанию в каталоге кластера.

Подробнее см. в разделе Логи.

Просмотр записей логов

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
  2. Нажмите на имя нужного кластера.
  3. В разделе Настройки нажмите на имя лог-группы кластера. Откроется страница сервиса Cloud Logging.
  4. Нажмите на строку лог-группы. Откроются логи кластера.
  5. (Опционально) Укажите настройки вывода:

    • фильтр сообщений:

      • Получение вывода запуска задания Yandex Data Processing:

        job_id="<идентификатор_задания>"

      • Получение stdout-вывода всех контейнеров YARN приложения:

        application_id="<идентификатор_YARN-приложения>" AND yarn_log_type="stdout"

      • Получение stderr-вывода YARN контейнера:

        container_id="<идентификатор_YARN-контейнера>" AND yarn_log_type="stderr"

      • Получение записей логов сервиса YARN Resource Manager с хоста-мастера кластера:

        hostname="<FQDN_хоста-мастера>" AND log_type="hadoop-yarn-resourcemanager"

    • интересующие уровни сообщений: от TRACE до FATAL;

    • количество сообщений на странице;

    • интервал сообщений (один из стандартных или произвольный).

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Посмотрите описание команды CLI для получения логов:

yc logging read --help

Примеры:

  • Чтобы получить логи сервиса HDFS NameNode кластера Yandex Data Processing, выполните команду:

    yc logging read \
   --group-id=<идентификатор_лог-группы> \
   --resource-ids=<идентификатор_кластера> \
   --filter=log_type=hadoop-hdfs-namenode

  • Чтобы получить логи за последние два часа от всех кластеров Yandex Data Processing, связанных с определенной лог-группой, выполните команду:

    yc logging read \
   --group-id=<идентификатор_лог-группы> \
   --resource-types=dataproc.cluster \
   --since=2h

  • Чтобы получить системный лог кластера за определенный промежуток времени, выполните команду:

    yc logging read \
   --group-id <идентификатор_лог-группы> \
   --resource-ids=<идентификатор_кластера> \
   --filter 'syslog' \
   --since 'YYYY-MM-DDThh:mm:ssZ' \
   --until 'YYYY-MM-DDThh:mm:ssZ'

    В параметрах --since и --until укажите границы периода, за который надо запросить лог. Формат времени: YYYY-MM-DDThh:mm:ssZ. Пример: 2020-08-10T12:00:00Z. Время указывается в часовом поясе UTC.

  • Чтобы получить лог по отправке метрик определенного хоста в сервис Yandex Monitoring, выполните команду:

    yc logging read \
   --group-id <идентификатор_лог-группы> \
   --resource-ids=<идентификатор_кластера> \
   --filter 'telegraf and hostname="<FQDN_хоста>"' \
   --since 'YYYY-MM-DDThh:mm:ssZ' \
   --until 'YYYY-MM-DDThh:mm:ssZ'

Примечание

Флаг --group-id можно опустить и указать сразу идентификатор лог-группы.

Чтобы получить FQDN хоста:

1. Перейдите на [страницу каталога](https://console.yandex.cloud) и выберите сервис **Yandex Data Processing**.
1. Нажмите на имя нужного кластера.
1. Перейдите на вкладку **Хосты**.
1. Скопируйте FQDN хоста.

Выключение отправки логов

При создании или изменении кластера добавьте свойство dataproc:disable_cloud_logging со значением true.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

При создании или изменении кластера передайте значение dataproc:disable_cloud_logging=true в параметре --property, либо передайте пустую строку ("") вместо идентификатора лог-группы в параметре --log-group-id:

yc dataproc cluster create <имя_кластера> \
   ... \
   --log-group-id=""

yc dataproc cluster update <имя_или_идентификатор_кластера> \
   --property dataproc:disable_cloud_logging=true

Хранение логов

Получение и хранение логов оплачивается по правилам тарификации сервиса Cloud Logging. По умолчанию логи хранятся три дня. Чтобы изменить срок хранения, отредактируйте настройки лог-группы.

Подробнее о работе с логами читайте в документации Cloud Logging.

Предыдущая
Задания MapReduce
Следующая
Мониторинг состояния кластера и хостов