Передача логов кластера Managed Service for Apache Airflow™ в Yandex Cloud Logging

Статья создана

Обновлена 22 ноября 2024 г.

Передача данных в лог-группу по умолчанию
Передача данных в пользовательскую лог-группу

Вы можете настроить регулярный сбор логов о работе кластера Managed Service for Apache Airflow™. Логи поставляются в лог-группу в сервисе Cloud Logging. Можно выбрать лог-группу одного из двух типов:

лог-группа, которая используется по умолчанию в каталоге кластера;
пользовательская лог-группа.

Передача данных в лог-группу по умолчанию

Убедитесь, что сервисному аккаунту кластера назначена роль managed-airflow.integrationProvider.
В кластере Managed Service for Apache Airflow™ задайте настройки логирования:
Консоль управления

CLI

Terraform

API
1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Airflow™.
2. Выберите кластер и нажмите кнопку Редактировать на панели сверху.
3. В блоке Логирование включите опцию Запись логов.
4. Чтобы логи записывались в лог-группу по умолчанию, выберите значение Каталог в поле Назначение.
5. Укажите каталог, лог-группу которого нужно использовать.
6. Выберите минимальный уровень логирования.
  
  В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.
В команде создания кластера укажите параметры логирования:
```
yc managed-airflow cluster update \
   ...
   --log-enabled \
   --log-folder-id <идентификатор_каталога> \
   --log-min-level <уровень_логирования>
```
Укажите каталог, лог-группу которого нужно использовать.

В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.
В конфигурационном файле с описанием кластера укажите следующие параметры:
```
resource "yandex_airflow_cluster" "<имя_кластера>" {
  ...
  logging = {
    enabled   = true
    folder_id = "<идентификатор_каталога>"
    min_level = "<уровень_логирования>"
  }
}
```
Укажите каталог, лог-группу которого нужно использовать.

В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.
В теле запроса на изменение кластера (Cluster.Update в REST API или ClusterService.Update в gRPC API) укажите следующие параметры:
```
{
   ...
   "logging": {
      "enabled": true,
      "minLevel": "<уровень_логирования>",
      "folderId": "<идентификатор_каталога>"
   }
}
```
Укажите каталог, лог-группу которого нужно использовать.

В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.

Проверьте передачу логов кластера в лог-группу:

Консоль управления

CLI

API

В консоли управления перейдите в нужный каталог.
Выберите сервис Cloud Logging.
Нажмите на строку с лог-группой default.

На открывшейся странице отобразятся записи.

Чтобы посмотреть записи в формате JSON, выполните команду:

yc logging read --group-name=default --format=json

Результат:

[
  {
    "uid": "3:74********",
    "resource": {
      "type": "managed-airflow.cluster",
      "id": "c9qv4tnjqdpa********"
    },
    "timestamp": "2024-10-31T11:14:53.740223Z",
    "ingested_at": "2024-10-31T11:14:55.633Z",
    "saved_at": "2024-10-31T11:14:57.231685Z",
    "level": "INFO",
    "message": "10.253.244.40 - - \"GET /health HTTP/1.1\" 200 283 \"-\" \"kube-probe/1.25\"",
    "json_payload": {
      "file": "/home/airflow/.local/lib/python3.8/site-packages/gunicorn/glogging.py",
      "instance": "airflow-c9qv4tnjqdpa********-webserver-68********-q5***",
      "line": 363,
      "resource_id": "c9qv4tnjqdpa********",
      "stream_name": "webserver",
      "thread": "MainThread"
    },
    "stream_name": "webserver"
  }
]

Чтобы посмотреть записи в лог-группе, воспользуйтесь вызовом gRPC API LogReadingService/Read.

Подробнее см. в разделе Чтение записей.

Передача данных в пользовательскую лог-группу

Создайте лог-группу airflow-log-group.
Убедитесь, что сервисному аккаунту кластера назначена роль managed-airflow.integrationProvider.
В кластере Managed Service for Apache Airflow™ задайте настройки логирования:
Консоль управления

CLI

Terraform

API
1. Перейдите на страницу каталога и выберите сервис Managed Service for Apache Airflow™.
2. Выберите кластер и нажмите кнопку Редактировать на панели сверху.
3. В блоке Логирование включите опцию Запись логов.
4. Чтобы логи записывались в пользовательскую лог-группу, выберите значение Лог-группа в поле Назначение.
5. Укажите лог-группу airflow-log-group.
6. Выберите минимальный уровень логирования.
  
  В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.
В команде создания кластера укажите параметры логирования:
```
yc managed-airflow cluster create \
   ...
   --log-enabled \
   --log-group-id <идентификатор_лог-группы> \
   --log-min-level <уровень_логирования>
```
В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.
В конфигурационном файле с описанием кластера укажите следующие параметры:
```
resource "yandex_airflow_cluster" "<имя_кластера>" {
  ...
  logging = {
    enabled      = true
    log_group_id = "<идентификатор_лог-группы>"
    min_level    = "<уровень_логирования>"
  }
}
```
В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.
В теле запроса на изменение кластера (Cluster.Update в REST API или ClusterService.Update в gRPC API) укажите следующие параметры:
```
{
   ...
   "logging": {
      "enabled": true,
      "minLevel": "<уровень_логирования>",
      "logGroupId": "<идентификатор_лог-группы>"
   }
}
```
В журнал выполнения записываются логи указанного уровня и выше. Доступные уровни — TRACE, DEBUG, INFO, WARN, ERROR и FATAL. Уровень по умолчанию — INFO.