Связаться с намиПодключиться

Передача логов кластера Yandex Managed Service for Kubernetes в Cloud Logging

Статья создана
Обновлена 1 ноября 2024 г.

Вы можете отправлять логи кластера Managed Service for Kubernetes в Cloud Logging:

Отправка логов мастера Managed Service for Kubernetes в Cloud Logging с помощью master logging

Чтобы настроить передачу логов мастера Managed Service for Kubernetes в Cloud Logging:

  1. Включите настройку master logging.
  2. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:

  1. Если у вас еще нет сети, создайте ее.

  2. Если у вас еще нет подсетей, создайте их в зонах доступности, где будут созданы кластер Managed Service for Kubernetes и группа узлов.

  3. Создайте сервисные аккаунты:

    • Сервисный аккаунт для ресурсов Managed Service for Kubernetes с ролью editor на каталог, в котором создается кластер Managed Service for Kubernetes.

    • Сервисный аккаунт для узлов Managed Service for Kubernetes с ролью container-registry.images.puller на каталог с реестром Docker-образов. От его имени узлы Managed Service for Kubernetes будут скачивать из реестра необходимые Docker-образы.

      Совет

      Вы можете использовать один и тот же сервисный аккаунт для обеих операций.

  4. Назначьте сервисному аккаунту для ресурсов роль logging.writer. Она необходима для отправки логов кластером Managed Service for Kubernetes в Cloud Logging.

  5. Создайте кластер Managed Service for Kubernetes и группу узлов. При создании кластера Managed Service for Kubernetes укажите ранее созданные сервисные аккаунты для ресурсов и узлов.

  6. Настройте группы безопасности для работы кластера Managed Service for Kubernetes.

  7. Создайте лог-группу.

  1. Если у вас еще нет Terraform, установите его.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте в ту же рабочую директорию файл конфигурации кластера Managed Service for Kubernetes k8s-cluster-with-master-logging.tf.

    В этом файле описаны:

    • Сеть.
    • Подсеть.
    • Группы безопасности и правила, необходимые для работы кластера Managed Service for Kubernetes и группы узлов:
      • Правила для служебного трафика.
      • Правила для доступа к API Kubernetes и управления кластером Managed Service for Kubernetes с помощью kubectl через порты 443 и 6443.
      • Правила для доступа к сервисам из интернета.
    • Сервисный аккаунт для ресурсов и узлов Managed Service for Kubernetes и отправки логов кластером в Cloud Logging.
    • Кластер Managed Service for Kubernetes.
    • Группа узлов Managed Service for Kubernetes.
    • Лог-группа Cloud Logging.

  4. Укажите в файле конфигурации:

    • Идентификатор каталога.
    • Версию Kubernetes для кластера Managed Service for Kubernetes и групп узлов.
    • Имя сервисного аккаунта для ресурсов и узлов Managed Service for Kubernetes и отправки логов кластером в Cloud Logging.
    • Имя лог-группы Cloud Logging.

  5. Выполните команду terraform init в директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Включите настройку master logging

Если вы создавали инфраструктуру вручную, включите настройку master logging:

  1. Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

    По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

  2. Выполните команду:

    yc managed-kubernetes cluster update <имя_кластера> \
  --master-logging enabled=true,`
    `log-group-id=<идентификатор_лог-группы>,`
    `kube-apiserver-enabled=<отправка_логов_kube-apiserver:_true_или_false>,`
    `cluster-autoscaler-enabled=<отправка_логов_cluster-autoscaler:_true_или_false>,`
    `events-enabled=<отправка_событий_Kubernetes:_true_или_false>`
    `audit-enabled=<отправка_событий_аудита:_true_или_false>

    Где:

    • enabled — флаг отправки логов.
    • log-group-id — идентификатор созданной ранее лог-группы, в которую нужно отправлять логи.
    • kube-apiserver-enabled — флаг отправки логов kube-apiserver.
    • cluster-autoscaler-enabled — флаг отправки логов cluster-autoscaler.
    • events-enabled — флаг отправки событий Kubernetes.
    • audit-enabled — флаг отправки событий аудита.

Проверьте результат

Проверьте передачу логов мастера Managed Service for Kubernetes в лог-группу Cloud Logging.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. В командной строке перейдите в директорию, в которой расположен актуальный конфигурационный файл Terraform с планом инфраструктуры.

  2. Удалите конфигурационный файл k8s-cluster-with-master-logging.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Все ресурсы, которые были описаны в конфигурационном файле k8s-cluster-with-master-logging.tf, будут удалены.

Отправка логов подов и сервисов с помощью Fluent Bit

Чтобы настроить передачу логов подов и сервисов Yandex Managed Service for Kubernetes в Yandex Cloud Logging:

  1. Установите и настройте Fluent Bit.
  2. Проверьте результат.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Подготовьте инфраструктуру:

  1. Если у вас еще нет сети, создайте ее.

  2. Если у вас еще нет подсетей, создайте их в зонах доступности, где будут созданы кластер Managed Service for Kubernetes и группа узлов.

  3. Создайте сервисные аккаунты:

    Совет

    Вы можете использовать один и тот же сервисный аккаунт для обеих операций.

  4. Создайте группы безопасности для кластера Managed Service for Kubernetes и входящих в него групп узлов.

    Важно

    От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

  5. Создайте кластер Managed Service for Kubernetes и группу узлов. При создании кластера Managed Service for Kubernetes укажите ранее созданные сервисные аккаунты для ресурсов и узлов и группы безопасности.

  6. Создайте лог-группу.

  1. Если у вас еще нет Terraform, установите его.

  2. Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

  3. Скачайте в ту же рабочую директорию файл конфигурации кластера Managed Service for Kubernetes k8s-cluster-with-log-group.tf.

    В этом файле описаны:

    • Сеть.

    • Подсеть.

    • Лог-группа Cloud Logging.

    • Кластер Managed Service for Kubernetes.

    • Группа узлов Managed Service for Kubernetes.

    • Сервисный аккаунт для ресурсов и узлов Managed Service for Kubernetes.

    • Группы безопасности, которые содержат необходимые правила для кластера Managed Service for Kubernetes и входящих в него групп узлов.

      Важно

      От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

  4. Укажите в файле конфигурации:

  5. Выполните команду terraform init в директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

  6. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  7. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Установите и настройте Fluent Bit

Установите Fluent Bit согласно инструкции. В настройках приложения укажите идентификатор созданной ранее лог-группы. Идентификатор лог-группы можно получить со списком лог-групп в каталоге.

  1. Установите kubectl и настройте его на работу с созданным кластером.

  2. Создайте объекты, необходимые для работы Fluent Bit:

    kubectl create namespace logging && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-service-account.yaml && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-1.22.yaml && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-binding-1.22.yaml

  3. Создайте секрет, содержащий ключ сервисного аккаунта:

    kubectl create secret generic secret-key-json \
  --from-file=key.json \
  --namespace logging

  4. Скачайте конфигурационный файл config.yaml:

    wget https://raw.githubusercontent.com/knpsh/yc-logging-fluent-bit-example/main/config.yaml

  5. Укажите параметры трансляции логов в блоке data.output-elasticsearch.conf файла config.yaml:

    ...
  output-elasticsearch.conf: |
    [OUTPUT]
      Name            yc-logging
      Match           *
      group_id        <идентификатор_лог-группы>
      resource_id     <опционально_идентификатор_кластера>
      message_key     log
      authorization   iam-key-file:/etc/secret/key.json
...

    Идентификатор лог-группы можно получить со списком лог-групп в каталоге.

    При необходимости укажите дополнительные настройки Fluent Bit.

  6. Создайте объекты Fluent Bit:

    kubectl apply -f config.yaml

    Результат:

    configmap/fluent-bit-config created
daemonset.apps/fluent-bit created

  7. Убедитесь, что под Fluent Bit перешел в состояние Running:

    kubectl get pods -n logging

Проверьте результат

Проверьте передачу логов подов и сервисов Managed Service for Kubernetes в лог-группу Cloud Logging.

Удалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. В командной строке перейдите в директорию, в которой расположен актуальный конфигурационный файл Terraform с планом инфраструктуры.

  2. Удалите конфигурационный файл k8s-cluster-with-log-group.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Все ресурсы, которые были описаны в конфигурационном файле k8s-cluster-with-log-group.tf, будут удалены.

Предыдущая
Все руководства
Следующая
Передача логов Metastore в Cloud Logging