Настройка Fluent Bit для работы с Yandex Cloud Logging

Если у вас еще нет Terraform, установите его.

Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

Скачайте в ту же рабочую директорию файл конфигурации кластера Managed Service for Kubernetes k8s-cluster-with-log-group.tf.

В этом файле описаны:

• Сеть.

• Подсеть.

• Лог-группа Cloud Logging.

• Кластер Managed Service for Kubernetes.

• Группа узлов Managed Service for Kubernetes.

• Сервисный аккаунт для ресурсов и узлов Managed Service for Kubernetes.

• Сервисный аккаунт для Cloud Logging.

• Группы безопасности, которые содержат необходимые правила для кластера Managed Service for Kubernetes и входящих в него групп узлов.

  Важно

  От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

Укажите в файле конфигурации:

• Идентификатор каталога.
• Версию Kubernetes для кластера Managed Service for Kubernetes и групп узлов.
• Имя сервисного аккаунта для ресурсов и узлов Managed Service for Kubernetes.
• Имя сервисного аккаунта для Cloud Logging.
• Имя лог-группы Cloud Logging.

Выполните команду terraform init в директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

Проверьте корректность файлов конфигурации Terraform с помощью команды:

terraform validate

Если в файлах конфигурации есть ошибки, Terraform на них укажет.

Создайте необходимую инфраструктуру:

1. Выполните команду для просмотра планируемых изменений:

   terraform plan
   

   Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

2. Если вас устраивают планируемые изменения, внесите их:

   1. Выполните команду:

      terraform apply
      

   2. Подтвердите изменение ресурсов.

   3. Дождитесь завершения операции.

В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Установите kubectl и настройте его на работу с созданным кластером.

Создайте объекты, необходимые для работы Fluent Bit:

kubectl create namespace logging && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-service-account.yaml && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-1.22.yaml && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-binding-1.22.yaml

Создайте секрет, который содержит ключ сервисного аккаунта для Cloud Logging, созданного ранее:

kubectl create secret generic secret-key-json \
  --from-file=key.json \
  --namespace logging

Скачайте конфигурационный файл config.yaml:

wget https://raw.githubusercontent.com/knpsh/yc-logging-fluent-bit-example/main/config.yaml

Укажите идентификатор созданной ранее лог-группы и опционально идентификатор кластера в секции [OUTPUT] файла config.yaml:

...
output-elasticsearch.conf: |
  [OUTPUT]
    Name            yc-logging
    Match           *
    group_id        <идентификатор_лог-группы>
    resource_id     <опционально_идентификатор_кластера>
    message_key     log
    authorization   iam-key-file:/etc/secret/key.json
...

Идентификатор лог-группы можно получить со списком лог-групп в каталоге, идентификатор кластера — со списком кластеров в каталоге.

При необходимости укажите дополнительные настройки Fluent Bit.

Создайте объекты Fluent Bit:

kubectl apply -f config.yaml

Результат:

configmap/fluent-bit-config created
daemonset.apps/fluent-bit created

Убедитесь, что под Fluent Bit перешел в состояние Running:

kubectl get pods -n logging

Установите kubectl и настройте его на работу с созданным кластером.

Создайте объекты, необходимые для работы Fluent Bit:

kubectl create namespace logging && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-service-account.yaml && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-1.22.yaml && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-binding-1.22.yaml

Создайте секрет, который содержит ключ сервисного аккаунта для Cloud Logging, созданного ранее:

kubectl create secret generic secret-key-json \
  --from-file=key.json \
  --namespace logging

Скачайте файл конфигурации Fluent Bit config.yaml.

Укажите идентификатор созданной ранее лог-группы в секциях [OUTPUT] файла config.yaml:

...
output-elasticsearch.conf: |
  [OUTPUT]
    Name            yc-logging
    Match           kube.*
    group_id        <идентификатор_лог-группы>
    resource_type   {kubernetes/namespace_name}
    resource_id     {kubernetes/pod_name}
    stream_name     {kubernetes/host}
    message_key     log
    level_key       severity
    default_level   INFO
    authorization   iam-key-file:/etc/secret/key.json

  [OUTPUT]
    Name            yc-logging
    Match           host.*
    group_id        <идентификатор_лог-группы>
    resource_type   systemd
    resource_id     {_SYSTEMD_UNIT}
    stream_name     {_HOSTNAME}
    message_key     MESSAGE
    level_key       SEVERITY
    default_level   INFO
    authorization   iam-key-file:/etc/secret/key.json
...

Идентификатор лог-группы можно получить со списком лог-групп в каталоге.

При необходимости укажите дополнительные настройки Fluent Bit.

Создайте объекты Fluent Bit:

kubectl apply -f config.yaml

Результат:

configmap/fluent-bit-config created
daemonset.apps/fluent-bit created

Убедитесь, что под Fluent Bit перешел в состояние Running:

kubectl get pods -n logging

В командной строке перейдите в директорию, в которой расположен актуальный конфигурационный файл Terraform с планом инфраструктуры.

Удалите конфигурационный файл k8s-cluster-with-log-group.tf.

Проверьте корректность файлов конфигурации Terraform с помощью команды:

terraform validate

Если в файлах конфигурации есть ошибки, Terraform на них укажет.

Подтвердите изменение ресурсов.

1. Выполните команду для просмотра планируемых изменений:

   terraform plan
   

   Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

2. Если вас устраивают планируемые изменения, внесите их:

   1. Выполните команду:

      terraform apply
      

   2. Подтвердите изменение ресурсов.

   3. Дождитесь завершения операции.

Все ресурсы, которые были описаны в конфигурационном файле k8s-cluster-with-log-group.tf, будут удалены.