Настройка Fluent Bit для работы с Yandex Cloud Logging

Если у вас еще нет Terraform, установите его.

Скачайте файл с настройками провайдера. Поместите его в отдельную рабочую директорию и укажите значения параметров.

Скачайте в ту же рабочую директорию файл конфигурации кластера Managed Service for Kubernetes k8s-cluster-with-log-group.tf.

В этом файле описаны:

• Сеть.

• Подсеть.

• Лог-группа Cloud Logging.

• Кластер Managed Service for Kubernetes.

• Группа узлов Managed Service for Kubernetes.

• Сервисный аккаунт для ресурсов и узлов Managed Service for Kubernetes.

• Группы безопасности, которые содержат необходимые правила для кластера Managed Service for Kubernetes и входящих в него групп узлов.

  Важно

  От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

Укажите в файле конфигурации:

• Идентификатор каталога.
• Версию Kubernetes для кластера Managed Service for Kubernetes и групп узлов.
• Имя сервисного аккаунта для ресурсов и узлов Managed Service for Kubernetes.
• Имя лог-группы Cloud Logging.

Выполните команду terraform init в директории с конфигурационными файлами. Эта команда инициализирует провайдер, указанный в конфигурационных файлах, и позволяет работать с ресурсами и источниками данных провайдера.

Проверьте корректность файлов конфигурации Terraform с помощью команды:

terraform validate

Если в файлах конфигурации есть ошибки, Terraform на них укажет.

Создайте необходимую инфраструктуру:

1. Выполните команду для просмотра планируемых изменений:

   terraform plan
   

   Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

2. Если вас устраивают планируемые изменения, внесите их:

   1. Выполните команду:

      terraform apply
      

   2. Подтвердите изменение ресурсов.

   3. Дождитесь завершения операции.

В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Установите kubectl и настройте его на работу с созданным кластером.

Создайте объекты, необходимые для работы Fluent Bit:

kubectl create namespace logging && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-service-account.yaml && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-1.22.yaml && \
kubectl create -f https://raw.githubusercontent.com/fluent/fluent-bit-kubernetes-logging/master/fluent-bit-role-binding-1.22.yaml

Создайте секрет, содержащий ключ сервисного аккаунта:

kubectl create secret generic secret-key-json \
  --from-file=key.json \
  --namespace logging

Скачайте конфигурационный файл config.yaml:

wget https://raw.githubusercontent.com/knpsh/yc-logging-fluent-bit-example/main/config.yaml

Укажите параметры трансляции логов в блоке data.output-elasticsearch.conf файла config.yaml:

...
  output-elasticsearch.conf: |
    [OUTPUT]
      Name            yc-logging
      Match           *
      group_id        <идентификатор_лог-группы>
      resource_id     <опционально_идентификатор_кластера>
      message_key     log
      authorization   iam-key-file:/etc/secret/key.json
...

Идентификатор лог-группы можно получить со списком лог-групп в каталоге.

При необходимости укажите дополнительные настройки Fluent Bit.

Создайте объекты Fluent Bit:

kubectl apply -f config.yaml

Результат:

configmap/fluent-bit-config created
daemonset.apps/fluent-bit created

Убедитесь, что под Fluent Bit перешел в состояние Running:

kubectl get pods -n logging

В командной строке перейдите в директорию, в которой расположен актуальный конфигурационный файл Terraform с планом инфраструктуры.

Удалите конфигурационный файл k8s-cluster-with-log-group.tf.

Проверьте корректность файлов конфигурации Terraform с помощью команды:

terraform validate

Если в файлах конфигурации есть ошибки, Terraform на них укажет.

Подтвердите изменение ресурсов.

1. Выполните команду для просмотра планируемых изменений:

   terraform plan
   

   Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

2. Если вас устраивают планируемые изменения, внесите их:

   1. Выполните команду:

      terraform apply
      

   2. Подтвердите изменение ресурсов.

   3. Дождитесь завершения операции.

Все ресурсы, которые были описаны в конфигурационном файле k8s-cluster-with-log-group.tf, будут удалены.