Передача логов кластера Metastore в Yandex Cloud Logging

Статья создана

Обновлена 17 октября 2024 г.

Создайте лог-группу
Создайте сервисный аккаунт
Назначьте сервисному аккаунту роль на каталог
Создайте кластер Metastore
Проверьте передачу логов кластера в лог-группу
Удалите созданные ресурсы

Вы можете настроить регулярный сбор логов, в которых собрана информация о работе кластера Hive Metastore. Логи будут поставляться в пользовательскую лог-группу в сервисе Yandex Cloud Logging.

Чтобы настроить передачу логов кластера Metastore в Cloud Logging:

Если созданные ресурсы вам больше не нужны, удалите их.

Создайте лог-группу

Консоль управления

CLI

Terraform

API

В консоли управления перейдите в каталог, в котором хотите создать лог-группу.
Выберите сервис Cloud Logging.
Нажмите кнопку Создать группу.
Укажите имя metastore-log-group.
Задайте срок хранения записей в лог-группе.
Нажмите кнопку Создать группу.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать лог-группу, выполните команду:

yc logging group create \
   --name metastore-log-group \
   --retention-period <срок_хранения_записей>

В результате будет создана группа с именем metastore-log-group.

Срок хранения записей можно указать только в часах, минутах или секундах. Например, 1h или 1440m.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.
Опишите в конфигурационном файле параметры лог-группы:
```
resource "yandex_logging_group" "metastore-log-group" {
  name             = "metastore-log-group"
  folder_id        = "<идентификатор_каталога>"
  retention_period = "<срок_хранения_записей>"
}
```
Идентификатор каталога можно получить со списком каталогов.

Срок хранения записей можно указать только в часах, минутах или секундах. Например, 1h или 1440m.

Более подробную информацию о параметрах ресурса yandex_logging_group в Terraform см. в документации провайдера.
Проверьте корректность конфигурационных файлов.
1. В командной строке перейдите в папку, где вы создали конфигурационный файл.
2. Выполните проверку с помощью команды:
```
terraform plan
```
Если конфигурация описана верно, в терминале отобразится список создаваемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет.
Разверните облачные ресурсы.
1. Если в конфигурации нет ошибок, выполните команду:
```
terraform apply
```
2. Подтвердите создание ресурсов: введите в терминал слово yes и нажмите Enter.
  
  После этого в указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления или с помощью команды CLI:
```
yc logging group list
```

Чтобы создать лог-группу, воспользуйтесь методом REST API create для ресурса LogGroup или вызовом gRPC API LogGroupService/Create и передайте в теле запроса:

Идентификатор каталога в параметре folderId. Идентификатор можно получить со списком каталогов.
Имя лог-группы metastore-log-group в параметре name.
Срок хранения записей в лог-группе в параметре retentionPeriod.

Значение можно указать только в секундах в формате <число>s. Если указать пустое значение или 0s, срок хранения будет не ограничен.

Создайте сервисный аккаунт

Используйте сервисный аккаунт, чтобы от его имени поставлять логи в Cloud Logging.

Консоль управления

CLI

Terraform

API

Чтобы создать сервисный аккаунт:

В консоли управления выберите каталог, в котором вы создали лог-группу.
Выберите сервис Identity and Access Management.
Нажмите кнопку Создать сервисный аккаунт.
Укажите имя сервисного аккаунта metastore-logging-sa.
Нажмите кнопку Создать.

Чтобы создать сервисный аккаунт, выполните команду:

yc iam service-account create --name metastore-logging-sa

Требования к имени:

длина — от 3 до 63 символов;
может содержать строчные буквы латинского алфавита, цифры и дефисы;
первый символ — буква, последний — не дефис.

Чтобы создать сервисный аккаунт:

Опишите в конфигурационном файле параметры сервисного аккаунта:
```
resource "yandex_iam_service_account" "sa" {
  name        = "metastore-logging-sa"
  folder_id   = "<идентификатор_каталога>"
}
```
Более подробную информацию о параметрах ресурса yandex_iam_service_account в Terraform см. в документации провайдера.
Проверьте корректность конфигурационных файлов.
1. В командной строке перейдите в папку, где вы создали конфигурационный файл.
2. Выполните проверку с помощью команды:
```
terraform plan
```
Если конфигурация описана верно, в терминале отобразится информация о сервисном аккаунте. Если в конфигурации есть ошибки, Terraform на них укажет.
Разверните облачные ресурсы.
1. Если в конфигурации нет ошибок, выполните команду:
```
terraform apply
```
2. Подтвердите создание сервисного аккаунта: введите в терминал слово yes и нажмите Enter.
  
  После этого будет создан сервисный аккаунт. Проверить появление сервисного аккаунта можно в консоли управления или с помощью команды CLI:
```
yc iam service-account list
```

Чтобы создать сервисный аккаунт, воспользуйтесь методом REST API create для ресурса ServiceAccount или вызовом gRPC API ServiceAccountService/Create и передайте в теле запроса:

идентификатор каталога в параметре folderId;
имя сервисного аккаунта metastore-logging-sa в параметре name.

Назначьте сервисному аккаунту роль на каталог

Назначьте сервисному аккаунту metastore-logging-sa роль managed-metastore.integrationProvider на каталог. Она позволяет кластеру Metastore взаимодействовать с различными ресурсами Yandex Cloud, в том числе отправлять логи в Cloud Logging.

Консоль управления

CLI

Terraform

API

Чтобы назначить роль:

В консоли управления выберите нужный каталог.
Перейдите на вкладку Права доступа.
Нажмите кнопку Настроить доступ.
В открывшемся окне введите имя сервисного аккаунта metastore-logging-sa и выберите его.
Нажмите кнопку Добавить роль и выберите роль managed-metastore.integrationProvider.
Нажмите кнопку Сохранить.

Чтобы назначить роль, выполните команду:

yc resource-manager folder add-access-binding <имя_или_идентификатор_каталога> \
   --role managed-metastore.integrationProvider \
   --subject serviceAccount:<идентификатор_сервисного_аккаунта>

Идентификатор сервисного аккаунта можно получить со списком сервисных аккаунтов.

Чтобы назначить роль:

Опишите в конфигурационном файле параметры роли для сервисного аккаунта:

resource "yandex_resourcemanager_folder_iam_member" "managed-metastore-integration-provider" {
  folder_id   = "<идентификатор_каталога>"
  role        = "managed-metastore.integrationProvider"
  member      = "serviceAccount:<идентификатор_сервисного_аккаунта>"
}

Идентификатор сервисного аккаунта можно получить со списком сервисных аккаунтов.

Проверьте корректность конфигурационных файлов.
1. В командной строке перейдите в папку, где вы создали конфигурационный файл.
2. Выполните проверку с помощью команды:
```
terraform plan
```
Если конфигурация описана верно, в терминале отобразится список создаваемых ресурсов и их параметров. Если в конфигурации есть ошибки, Terraform на них укажет.
Разверните облачные ресурсы.
1. Если в конфигурации нет ошибок, выполните команду:
```
terraform apply
```
2. Подтвердите создание ресурсов: введите в терминал слово yes и нажмите Enter.
  
  После этого в указанном каталоге будут созданы все требуемые ресурсы. Проверить создание ресурса можно в консоли управления или с помощью команды CLI:
```
yc resource-manager folder list-access-bindings <имя_или_идентификатор_каталога>
```

Чтобы назначить роль, воспользуйтесь методом REST API updateAccessBindings для ресурса Folder или вызовом gRPC API FolderService/UpdateAccessBindings и передайте в теле запроса:

Значение ADD в параметре accessBindingDeltas.action, чтобы добавить роль.
Роль managed-metastore.integrationProvider в параметре accessBindingDeltas.accessBinding.roleId.
Идентификатор сервисного аккаунта в параметре accessBindingDeltas.accessBinding.subject.id. Идентификатор можно получить со списком сервисных аккаунтов.
Значение serviceAccount в параметре accessBindingDeltas.accessBinding.subject.type, чтобы указать, что роль назначают сервисному аккаунту.

В URL запроса укажите идентификатор нужного каталога.

Создайте кластер Metastore

В подсети, к которой будет подключен кластер, настройте NAT-шлюз. Это нужно, чтобы кластер мог взаимодействовать с сервисами Yandex Cloud.
Настройте группы безопасности.
Создайте кластер Metastore:
Консоль управления
1. В консоли управления выберите нужный каталог.
2. Выберите сервис Yandex MetaData Hub.
3. На левой панели выберите страницу Metastore-сервер.
4. Нажмите кнопку Создать кластер.
5. Укажите имя кластера metastore-cluster.
6. В поле Сервисный аккаунт выберите metastore-logging-sa.
7. В блоке Сетевые настройки выберите сеть и подсеть с настроенным NAT-шлюзом.
8. В блоке Логирование:
  1. Включите опцию Запись логов.
  2. Чтобы логи записывались в пользовательскую лог-группу, выберите значение Лог-группа в поле Назначение.
  3. Укажите лог-группу metastore-log-group.
  4. Выберите минимальный уровень логирования.
    
    В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.
9. Нажмите кнопку Создать.

Проверьте передачу логов кластера в лог-группу

Консоль управления

CLI

API

В консоли управления перейдите в нужный каталог.
Выберите сервис Cloud Logging.
Нажмите на строку с лог-группой metastore-log-group.

На открывшейся странице отобразятся записи.

Чтобы посмотреть записи в формате JSON, выполните команду:

yc logging read --group-name=metastore-log-group --format=json

Результат:

[
  {
    "uid": "488ece3c-75b8-4d35-95ac-2b49********",
    "resource": {},
    "timestamp": "2024-08-22T02:10:40Z",
    "ingested_at": "2024-08-22T08:49:15.716Z",
    "saved_at": "2024-08-22T08:49:16.176097Z",
    "level": "INFO",
    "message": "My message",
    "json_payload": {
      "request_id": "1234"
    }
  }
]

Чтобы посмотреть записи в лог-группе, воспользуйтесь вызовом gRPC API LogReadingService/Read.

Подробнее см. в разделе Чтение записей.

Удалите созданные ресурсы

Некоторые ресурсы платные. Удалите ресурсы, которые вы больше не будете использовать, чтобы не платить за них:

Вручную

Terraform

Удалите:

В терминале перейдите в директорию с планом инфраструктуры.
Удалите конфигурационные файлы с инфраструктурой, созданной для передачи логов кластера Metastore.
Проверьте корректность файлов конфигурации Terraform с помощью команды:
```
terraform validate
```
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
Подтвердите изменение ресурсов.
1. Выполните команду для просмотра планируемых изменений:
```
terraform plan
```
  Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
2. Если вас устраивают планируемые изменения, внесите их:
  1. Выполните команду:
```
terraform apply
```
  2. Подтвердите изменение ресурсов.
  3. Дождитесь завершения операции.
Все ресурсы, которые были описаны в удаленных конфигурационных файлах, будут удалены.

Передача логов кластера Metastore в Yandex Cloud Logging

Создайте лог-группуСоздайте лог-группу

Создайте сервисный аккаунтСоздайте сервисный аккаунт

Назначьте сервисному аккаунту роль на каталогНазначьте сервисному аккаунту роль на каталог

Создайте кластер MetastoreСоздайте кластер Metastore

Проверьте передачу логов кластера в лог-группуПроверьте передачу логов кластера в лог-группу

Удалите созданные ресурсыУдалите созданные ресурсы

Была ли статья полезна?

Создайте лог-группу

Создайте сервисный аккаунт

Назначьте сервисному аккаунту роль на каталог

Создайте кластер Metastore

Проверьте передачу логов кластера в лог-группу

Удалите созданные ресурсы