Передача логов кластера Metastore в Yandex Cloud Logging

Статья создана

Обновлена 27 ноября 2024 г.

Перед началом работы
Передача данных в лог-группу по умолчанию
Передача данных в пользовательскую лог-группу

Вы можете настроить регулярный сбор логов о работе кластера Metastore. Логи поставляются в лог-группу в сервисе Yandex Cloud Logging. Можно выбрать лог-группу одного из двух типов:

лог-группа, которая используется по умолчанию в каталоге кластера;
пользовательская лог-группа.

Перед началом работы

Создайте сервисный аккаунт metastore-logging-sa.
Назначьте сервисному аккаунту роль managed-metastore.integrationProvider.
В подсети, к которой будет подключен кластер, настройте NAT-шлюз. Это нужно, чтобы кластер мог взаимодействовать с сервисами Yandex Cloud.
Настройте группу безопасности.

Передача данных в лог-группу по умолчанию

Создайте кластер Metastore:
Консоль управления
1. В консоли управления выберите нужный каталог.
2. Выберите сервис Yandex MetaData Hub.
3. На левой панели выберите страницу Metastore-сервер.
4. Нажмите кнопку Создать кластер.
5. Укажите имя кластера metastore-cluster.
6. В поле Сервисный аккаунт выберите metastore-logging-sa.
7. В блоке Сетевые настройки выберите сеть и подсеть с настроенным NAT-шлюзом. Укажите настроенную группу безопасности.
8. В блоке Логирование:
  1. Включите опцию Запись логов.
  2. Чтобы логи записывались в лог-группу по умолчанию, выберите значение Каталог в поле Назначение.
  3. Укажите каталог, лог-группу которого нужно использовать.
  4. Выберите минимальный уровень логирования.
    
    В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.
9. Нажмите кнопку Создать.

Проверьте передачу логов кластера в лог-группу:

Консоль управления

CLI

API

В консоли управления перейдите в нужный каталог.
Выберите сервис Cloud Logging.
Нажмите на строку с лог-группой default.

На открывшейся странице отобразятся записи.

Чтобы посмотреть записи в формате JSON, выполните команду:

yc logging read --group-name=default --format=json

Результат:

[
  {
    "uid": "23:6d******:3",
    "resource": {
      "type": "managed-metastore.cluster",
      "id": "c9qcv46p3g3a********"
    },
    "timestamp": "2024-11-18T09:45:23.092484Z",
    "ingested_at": "2024-11-18T09:45:24Z",
    "saved_at": "2024-11-18T09:45:25.559195Z",
    "level": "INFO",
    "message": "ugi=metastore\tip=10.253.89.135\tcmd=Done cleaning up thread local RawStore\t",
    "json_payload": {
      "instance": "metastore-server-5f9c7ff***-*****",
      "logger": "org.apache.hadoop.hive.metastore.HiveMetaStore.audit",
      "resource_id": "c9qcv46p3g3a********",
      "stream_name": "metastore-server",
      "thread": "pool-6-thread-79"
    },
    "stream_name": "metastore-server"
  }
]

Чтобы посмотреть записи в лог-группе, воспользуйтесь вызовом gRPC API LogReadingService.Read.

Подробнее см. в разделе Чтение записей.

Передача данных в пользовательскую лог-группу

Создайте лог-группу metastore-log-group.
Создайте кластер Metastore:
Консоль управления
1. В консоли управления выберите нужный каталог.
2. Выберите сервис Yandex MetaData Hub.
3. На левой панели выберите страницу Metastore-сервер.
4. Нажмите кнопку Создать кластер.
5. Укажите имя кластера metastore-cluster.
6. В поле Сервисный аккаунт выберите metastore-logging-sa.
7. В блоке Сетевые настройки выберите сеть и подсеть с настроенным NAT-шлюзом. Укажите настроенную группу безопасности.
8. В блоке Логирование:
  1. Включите опцию Запись логов.
  2. Чтобы логи записывались в пользовательскую лог-группу, выберите значение Лог-группа в поле Назначение.
  3. Укажите лог-группу metastore-log-group.
  4. Выберите минимальный уровень логирования.
    
    В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.
9. Нажмите кнопку Создать.