Fluent Bit с интеграцией Monium

Fluent Bit — легковесный агент с открытым исходным кодом для сбора и обработки логов. Продукт разворачивает его в кластере Managed Service for Kubernetes как DaemonSet с готовой конфигурацией: агент читает логи контейнеров на каждом узле в указанных вами пространствах имен, обогащает их метаданными Kubernetes (пространство имен, под и другие) и доставляет в Monium по протоколу OpenTelemetry — каждое пространство имен в одноименный сервис.

Логи буферизуются на диске узла, поэтому переживают недоступность Monium и перезапуск агента.

1. Создайте кластер Kubernetes и группу узлов.

2. Создайте сервисный аккаунт, необходимый для работы Fluent Bit:

   yc iam service-account create --name fluent-bit-monium
   

3. Назначьте сервисному аккаунту роль monium.logs.writer в каталоге с проектом Monium.

4. В зависимости от выбранного способа аутентификации:

   • Привяжите сервисный аккаунт к федерации удостоверений кластера, указав id субъекта system:serviceaccount:<пространство_имен>:fluent-bit-monium, где <пространство_имен> — пространство имен, в которое устанавливается приложение. Рекомендуемый способ.
     Подробнее о привязки сервисного аккаунта к федерации см. в документации.
   • Либо создайте для сервисного аккаунта API-ключ с областью действия yc.monium.logs.write.

5. Укажите имя проекта Monium, в который будут передаваться логи, например folder__<идентификатор_каталога>. Monium автоматически создаёт такой проект для каждого каталога.

6. Задайте настройки Fluent Bit:

   • Пространство имен — создайте новое пространство имен (например, fluent-bit-monium).
   • Название приложения — укажите название приложения.
   • Проект Monium — укажите имя проекта, в который будут передаваться логи.
   • Кластер Monium — укажите кластер назначения или оставьте значение default.
   • Пространства имен для сбора логов — перечислите пространства имен, логи которых вам нужны. Логи каждого из них доставляются в сервис Monium с таким же именем. Логи остальных пространств имен не отправляются.

7. Нажмите кнопку Установить.

8. Дождитесь перехода приложения в статус Deployed.

Логи собираются со всех подов указанных пространств имен независимо от их формата. Логи в формате JSON разбираются на атрибуты, по которым записи можно искать и фильтровать в Monium. Чтобы так же разбирались логи в другом формате, добавьте поду аннотацию fluentbit.io/parser с именем парсера:

annotations:
  fluentbit.io/parser: logfmt

Доступны стандартные парсеры Fluent Bit, например logfmt, nginx или apache2. Полный список — в репозитории Fluent Bit.

• Сбор логов контейнеров Managed Service for Kubernetes в Monium.
• Миграция сбора логов с Cloud Logging на Monium.

Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.