Репликация логов в Yandex Object Storage с помощью Fluent Bit

Агрегаторы данных позволяют транслировать данные, такие как логи, с виртуальных машин в сервисы просмотра логов и хранения данных.

С предлагаемой инструкцией вы научитесь автоматически реплицировать логи с виртуальной машины в бакет Object Storage с помощью обработчика логов Fluent Bit.

Решение, которое описано ниже, работает по следующей схеме:

1. На рабочей ВМ запущен Fluent Bit как systemd-модуль.
2. Fluent Bit собирает логи в соответствии с настройками конфигурации и отправляет их в поток Data Streams по протоколу Amazon Kinesis Data Streams.
3. В рабочем каталоге настроен трансфер Data Transfer, который забирает данные из потока и сохраняет в бакет Object Storage.

Чтобы настроить репликацию логов:

1. Подготовьте облако к работе.
2. Настройте окружение.
3. Создайте бакет Object Storage, в котором будут храниться логи.
4. Создайте поток данных Data Streams.
5. Создайте трансфер Data Transfer.
6. Установите Fluent Bit.
7. Подключите Fluent Bit к потоку данных.
8. Проверьте отправку и получение данных.

Если вы больше не хотите хранить логи, удалите используемые ресурсы.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Сервис Data Streams (см. тарифы Data Streams). Стоимость зависит от режима тарификации:

  • По выделенным ресурсам — оплачивается фиксированная почасовая ставка за установленный лимит пропускной способности и срок хранения сообщений, а также дополнительно количество единиц фактически записанных данных.
  • По фактическому использованию (On-demand) — оплачиваются выполненные операции записи и чтения данных, объем считанных/записанных данных, а также объем фактически используемого хранилища для сообщений, по которым не истек срок хранения.

• База данных Managed Service for YDB, работающая в бессерверном режиме: операции с данными, объем хранимых данных и резервных копий (см. тарифы Managed Service for YDB).

• Бакет Object Storage: использование хранилища и выполнение операций с данными (см. тарифы Object Storage).

Настройте окружениеНастройте окружение

1. Создайте сервисный аккаунт, например logs-sa, с ролью editor на каталог.

2. Создайте статический ключ доступа для сервисного аккаунта. Сохраните идентификатор и секретный ключ. Они понадобятся, чтобы авторизоваться в AWS.

3. Создайте ВМ из публичного образа Ubuntu 20.04. В блоке Доступ укажите сервисный аккаунт, который создали на предыдущем шаге.

4. Подключитесь к ВМ по SSH.

5. Установите на ВМ утилиту AWS CLI.

6. Выполните команду:

   aws configure
   

7. Последовательно введите:

   • AWS Access Key ID [None]: — идентификатор ключа сервисного аккаунта.
   • AWS Secret Access Key [None]: — секретный ключ сервисного аккаунта.
   • Default region name [None]: — регион kz1.

Создайте бакетСоздайте бакет

Создайте поток данныхСоздайте поток данных

Создайте трансферСоздайте трансфер

Установите Fluent BitУстановите Fluent Bit

1. Чтобы установить Fluent Bit на ВМ, выполните команду:

   curl https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh
   

   Подробнее о том, как установить Fluent Bit, см. в официальной документации.

2. Запустите сервис fluent-bit:

   sudo systemctl start fluent-bit
   

3. Проверьте статус сервиса fluent-bit, он должен быть активен:

   sudo systemctl status fluent-bit
   

   Результат должен содержать статус active (running) и логи встроенного плагина cpu, которые Fluent Bit по умолчанию собирает сразу после установки:

   ● fluent-bit.service - Fluent Bit
    Loaded: loaded (/lib/systemd/system/fluent-bit.service; disabled; vendor preset: enabled)
    Active: active (running) since Thu 2022-09-08 10:23:03 UTC; 10s ago
      Docs: https://docs.fluentbit.io/manual/
   Main PID: 1328 (fluent-bit)
     Tasks: 4 (limit: 2310)
    Memory: 2.8M
    CGroup: /system.slice/fluent-bit.service
            └─1328 /opt/fluent-bit/bin/fluent-bit -c //etc/fluent-bit/fluent-bit.conf
   
    Sep 08 10:23:03 ycl-20 fluent-bit[1328]: [2022/09/08 10:23:03] [ info] [output:stdout:stdout.0] worker #0 started
    Sep 08 10:23:05 ycl-20 fluent-bit[1328]: [0] cpu.local: [1662632584.114661597, {"cpu_p"=>1.000000, "user_p"=>0.000000, >
    Sep 08 10:23:06 ycl-20 fluent-bit[1328]: [0] cpu.local: [1662632585.114797726, {"cpu_p"=>0.000000, "user_p"=>0.000000, >
    ...
    
   

Подключите Fluent Bit к потоку данныхПодключите Fluent Bit к потоку данных

1. Откройте файл /etc/fluent-bit/fluent-bit.conf:

   sudo vim  /etc/fluent-bit/fluent-bit.conf
   

2. Добавьте блок OUTPUT с настройками плагина kinesis_streams:

   [OUTPUT]
       Name  kinesis_streams
       Match *
       region ru-central-1
       stream /<регион>/<идентификатор_каталога>/<идентификатор_базы_данных>/<имя_потока_данных>
       endpoint https://yds.serverless.yandexcloud.net
   

   Где:

   • stream — идентификатор потока данных Data Streams.

     Например, укажите идентификатор потока /kz1/aoeu1kuk2dht********/cc8029jgtuab********/logs-stream, если:

     • logs-stream — имя потока;
     • kz1 — регион;
     • aoeu1kuk2dht******** — идентификатор каталога;
     • cc8029jgtuab******** — идентификатор базы данных YDB.

   Подробнее о том, как настроить Fluent Bit см. в официальной документации.

3. Откройте файл /lib/systemd/system/fluent-bit.service:

   sudo vim  /lib/systemd/system/fluent-bit.service
   

4. Добавьте в блок SERVICE переменные окружения, которые содержат пути к файлам с ключами доступа:

   Environment=AWS_CONFIG_FILE=/home/<имя_пользователя>/.aws/config
   Environment=AWS_SHARED_CREDENTIALS_FILE=/home/<имя_пользователя>/.aws/credentials
   

   Где <имя_пользователя> — логин, который вы указали в настройках виртуальной машины.

5. Перезапустите сервис fluent-bit:

   sudo systemctl daemon-reload
   sudo systemctl restart fluent-bit
   

6. Проверьте статус сервиса fluent-bit. В нем не должно быть сообщений об ошибках:

   sudo systemctl status fluent-bit
   

   Результат:

   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: Fluent Bit v1.9.8
   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: * Copyright (C) 2015-2022 The Fluent Bit Authors
   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: * Fluent Bit is a CNCF sub-project under the umbrella of Fluentd
   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: * https://fluentbit.io
   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: [2022/09/08 16:51:19] [ info] [fluent bit] version=1.9.8, commit=, pid=3450
   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: [2022/09/08 16:51:19] [ info] [storage] version=1.2.0, type=memory-only, sync=normal, checksum=disabled, max_chunks_up=128
   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: [2022/09/08 16:51:19] [ info] [cmetrics] version=0.3.6
   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: [2022/09/08 16:51:19] [ info] [sp] stream processor started
   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: [2022/09/08 16:51:19] [ info] [output:kinesis_streams:kinesis_streams.1] worker #0 started
   Sep 08 16:51:19 ycl-20 fluent-bit[3450]: [2022/09/08 16:51:19] [ info] [output:stdout:stdout.0] worker #0 started
   

Проверьте отправку и получение данныхПроверьте отправку и получение данных

Удалите созданные ресурсыУдалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

1. Удалите трансфер.
2. Удалите эндпоинты.
3. Удалите поток данных.
4. Удалите объекты в бакете.
5. Удалите бакет.