Установка Fluent Bit с плагином для Yandex Cloud Logging

Fluent Bit — многоплатформенный инструмент с открытым исходным кодом для сбора и обработки логов. Fluent Bit собирает, парсит и фильтрует сообщения из различных источников ввода и сохраняет их в хранилище. Затем сообщения поступают в маршрутизатор, который определяет, в какой выход их отправить. Для работы с различными источниками ввода и выходами используются плагины.

Плагин для Cloud Logging позволяет выгружать в сервис Yandex Cloud Logging логи, которые генерируются в кластере Managed Service for Kubernetes, в том числе на уровне подов.

Перед началом работыПеред началом работы

1. Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

   По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

2. Создайте сервисный аккаунт, необходимый для работы Fluent Bit.

3. Назначьте сервисному аккаунту роли logging.writer и monitoring.editor.

4. Создайте авторизованный ключ для сервисного аккаунта и сохраните его в файл sa-key.json.

5. Убедитесь, что группы безопасности для кластера Managed Service for Kubernetes и его групп узлов настроены корректно. Если отсутствует какое-либо из правил — добавьте его.

   Важно

   От настройки групп безопасности зависит работоспособность и доступность кластера, а также запущенных в нем сервисов и приложений.

Установка с помощью Yandex Cloud MarketplaceУстановка с помощью Yandex Cloud Marketplace

1. Перейдите на страницу каталога и выберите сервис Managed Service for Kubernetes.
2. Нажмите на имя нужного кластера Managed Service for Kubernetes и выберите вкладку Marketplace.
3. В разделе Доступные для установки приложения выберите Fluent Bit с плагином для Cloud Logging и нажмите кнопку Перейти к установке.
4. Задайте настройки приложения:
   • Пространство имен — создайте новое пространство имен (например, fluent-bit-space). Если вы оставите пространство имен по умолчанию, Fluent Bit может работать некорректно.
   • Название приложения — укажите название приложения.
   • ID целевой лог-группы — укажите идентификатор лог-группы, в которую будут сохраняться логи Fluent Bit.
   • Идентификатор кластера — укажите идентификатор кластера Managed Service for Kubernetes.
   • Ключ сервисной учетной записи для Cloud Logging — вставьте содержимое файла sa-key.json.
5. Нажмите кнопку Установить.
6. Дождитесь перехода приложения в статус Deployed.

Установка с помощью Helm-чартаУстановка с помощью Helm-чарта

1. Установите менеджер пакетов Helm версии не ниже 3.8.0.

2. Установите kubectl и настройте его на работу с созданным кластером.

3. Для установки Helm-чарта с Fluent Bit выполните команду:

   cat sa-key.json | helm registry login cr.yandex --username 'json_key' --password-stdin && \
   helm pull oci://cr.yandex/yc-marketplace/yandex-cloud/fluent-bit/fluent-bit \
     --version 2.1.7-3 \
     --untar && \
   helm install \
     --namespace <пространство_имен> \
     --create-namespace \
     --set loggingGroupId=<идентификатор_лог-группы> \
     --set loggingFilter=<идентификатор_кластера> \
     --set-file auth.json=sa-key.json \
     fluentbit ./fluent-bit/
   

   Эта команда также создаст новое пространство имен, необходимое для работы Fluent Bit.

   Если вы укажете в параметре namespace пространство имен по умолчанию, Fluent Bit может работать некорректно. Рекомендуем указывать значение, отличное от всех существующих пространств имен (например, fluent-bit-space).

   Примечание

   Если вы используете версию Helm ниже 3.8.0, добавьте в начало команды строку export HELM_EXPERIMENTAL_OCI=1 && \, чтобы включить поддержку Open Container Initiative (OCI) в клиенте Helm.

Примеры использованияПримеры использования

• Настройка Fluent Bit для работы с Yandex Cloud Logging.

См. такжеСм. также

• Документация Fluent Bit.
• Документация Cloud Logging.