Fluent Bit с плагином для Cloud Logging

Fluent Bit — это многоплатформенный инструмент с открытым исходным кодом для сбора и обработки логов. Fluent Bit собирает, парсит и фильтрует сообщения из различных источников ввода и сохраняет их в хранилище. После успешного сохранения сообщения поступают из хранилища в маршрутизатор, который определяет, в какой выход их отправить. Для работы с различными источниками ввода и выходами используются плагины.

Плагин для Cloud Logging позволяет выгружать логи, которые генерируются в кластере Kubernetes, в том числе на уровне подов, в сервис Yandex Cloud Logging.

1. Создайте кластер Kubernetes и группу узлов.

2. Создайте сервисный аккаунт, необходимый для работы Fluent Bit.

3. Назначьте сервисному аккаунту роль logging.writer.

4. Создайте для сервисного аккаунта авторизованный ключ и сохраните в файл sa-key.json:

   yc iam key create \
      --service-account-name <имя сервисного аккаунта> \
      --output sa-key.json
   

5. Создайте лог-группу.

6. Если хотите сохранять логи в Yandex Object Storage:

   1. Создайте бакет.

   2. Назначьте сервисному аккаунту роль storage.uploader.

   3. Создайте для сервисного аккаунта статический ключ доступа и сохраните его в формате JSON:

      {
          "access_key": {
          "id": "xxxxxx",
          "created_at": "xxxxxx",
          "key_id": "xxxxxx"
          },
          "secret": "xxxxxx"
      }
      

7. Задайте настройки Fluent Bit:

   • Пространство имен — выберите пространство имен или создайте новое.
   • Название приложения — укажите название приложения.
   • ID целевой лог-группы — укажите идентификатор лог-группы, в которую будут передаваться логи.
   • Ключ сервисной учетной записи для Cloud Logging — вставьте содержимое файла sa-key.json.
   • Сохранение логов в Object Storage — выберите эту опцию, если хотите сохранять логи в Object Storage.
   • Имя бакета Object Storage — укажите имя бакета, в котором будут храниться логи. Оставьте поле пустым, если не хотите сохранять логи.
   • Статический ключ для доступа к Object Storage — вставьте статический ключ доступа в формате JSON. Оставьте поле пустым, если не хотите сохранять логи.

8. Нажмите кнопку Установить.

9. Дождитесь перехода приложения в статус Deployed.

• Выгрузка логов кластера Kubernetes в Yandex Cloud Logging.

Служба технической поддержки Yandex Cloud отвечает на запросы 24 часа в сутки, 7 дней в неделю. Доступные виды запросов и срок их обработки зависят от тарифного плана. Подключить платную поддержку можно в консоли управления. Подробнее о порядке оказания технической поддержки.