Связаться с намиПодключиться

Передача логов с ВМ в Yandex Cloud Logging

Статья создана
Улучшена
Обновлена 4 апреля 2025 г.

Обработчик логов Fluent Bit позволяет транслировать логи с виртуальных машин в сервис Yandex Cloud Logging. Для передачи логов используется модуль Fluent Bit plugin for Yandex Cloud Logging.

Чтобы настроить передачу логов:

  1. Создайте сервис systemd, генерирующий логи.
  2. Установите и настройте Fluent Bit.
  3. Подключите плагин.

Перед началом работы

  1. Создайте сервисный аккаунт с ролью logging.writer на каталог.
  2. Создайте ВМ из публичного образа Ubuntu 20.04. В блоке Доступ укажите сервисный аккаунт, который создали на предыдущем шаге.
  3. Подключитесь к ВМ по SSH.
  4. Установите на ВМ:

    • Go не ниже версии 1.17:

      wget https://go.dev/dl/go1.17.6.linux-amd64.tar.gz
tar -xzf go1.17.6.linux-amd64.tar.gz
export PATH=$PWD/go/bin:$PATH

    • Git:

      sudo apt install git

Создайте сервис systemd, генерирующий логи

  1. Создайте директорию:

    sudo mkdir /usr/local/bin/logtest
sudo chown $USER /usr/local/bin/logtest
cd /usr/local/bin/logtest

  2. Создайте файл logtest.py:

    import logging
import random
import sys
import time

from systemdlogging.toolbox import check_for_systemd
from systemdlogging.toolbox import SystemdFormatter
from systemdlogging.toolbox import SystemdHandler

# Следующие несколько строк можно заменить на вызов `systemdlogging.toolbox.init_systemd_logging`
# Код приводится в целях демонстрации

# Проверяем, доступен ли systemd
systemd_ok = check_for_systemd()

if systemd_ok:
    handler = SystemdHandler()
    # syslog_id: значение, которое будет использовано в поле SYSLOG_IDENTIFIER
    handler.syslog_id = ''
    handler.setFormatter(SystemdFormatter())

    # Получаем экземпляр объекта логгера
    logger = logging.getLogger()
    logger.addHandler(handler)

else:
    logger = logging.getLogger(__name__)
    # Логи выводятся в STDOUT
    handler = logging.StreamHandler(stream=sys.stdout)
    handler.setFormatter(logging.Formatter(
        '[%(levelname)s] %(code)d %(message)s'
    ))
    logger.addHandler(handler)

# Настраиваем уровень логирования по умолчанию, опционально
logger.setLevel(logging.DEBUG)

# Генерируем URL-подобные значения
PATHS = [
    '/',
    '/admin',
    '/hello',
    '/docs',
]

PARAMS = [
    'foo',
    'bar',
    'query',
    'search',
    None
]


def fake_url():
    path = random.choice(PATHS)
    param = random.choice(PARAMS)
    if param:
        val = random.randint(0, 100)
        param += '=%s' % val
    code = random.choices([200, 400, 404, 500], weights=[10, 2, 2, 1])[0]
    return '?'.join(filter(None, [path, param])), code


if __name__ == '__main__':
    while True:
        # Создаем пару — код и значение URL
        path, code = fake_url()
        # Если код 200, пишем в  лог с уровнем Info
        # Cloud Logging смотрит на текстовое написание уровня логирования, поэтому в `context` передаем
        # дополнительное значение `SEVERITY`
        # Оно попадет в journald и сможет быть прочитано в плагине yc-logging
        if code == 200:
            logger.info(
                'Path: %s',
                path,
                extra={"code": code, "context": {"SEVERITY": "info"}},
            )
        # Иначе с уровнем Error
        else:
            logger.error(
                'Error: %s',
                path,
                extra={"code": code, "context": {"SEVERITY": "error"}},
            )

        # Ждем 1 секунду, чтобы не засорять журнал
        time.sleep(1)

  3. Обновите версии установленных пакетов:

    sudo apt-get update

  4. Создайте виртуальную среду и установите необходимые зависимости:

    sudo apt install python3-pip python3.8-venv

    python3 -m venv venv
source venv/bin/activate
pip3 install systemd-logging

  5. Создайте файл logtest.sh:

    #!/bin/bash

SCRIPT_PATH=$(dirname "$(realpath "$0")")
. "$SCRIPT_PATH/venv/bin/activate"
python "$SCRIPT_PATH/logtest.py"

  6. systemd будет вызывать logtest.sh для запуска сервиса, поэтому сделайте файл исполняемым:

    chmod +x logtest.sh

  7. Создайте файл logtest.service:

    [Unit]
Description=Sample to show logging from a Python application to systemd
After=network.target

[Service]
Type=simple
ExecStart=/usr/local/bin/logtest/logtest.sh
Restart=on-abort

[Install]
WantedBy=multi-user.target

  8. Создайте символическую ссылку для logtest.service:

    sudo ln -s "$(pwd)/logtest.service" /etc/systemd/system/logtest.service

  9. Перезапустите systemd:

    sudo systemctl daemon-reload

  10. Посмотрите статус сервиса logtest.service:

    systemctl status logtest.service

    Результат:

    ● logtest.service - Sample to show logging from a Python application to systemd
 Loaded: loaded (/etc/systemd/system/logtest.service; linked; vendor preset: enabled)
 Active: inactive (dead)

  11. Запустите сервис logtest.service:

    sudo systemctl start logtest.service

  12. Снова посмотрите статус сервиса logtest.service, теперь он должен быть активен:

    systemctl status logtest.service

    Результат:

    ● logtest.service - Sample to show logging from a Python application to systemd
     Loaded: loaded (/etc/systemd/system/logtest.service; linked; vendor preset: enabled)
     Active: active (running) since Wed 2022-02-02 18:49:03 UTC; 13h ago
   Main PID: 6550 (logtest.sh)
      Tasks: 2 (limit: 2311)
     Memory: 8.5M
     CGroup: /system.slice/logtest.service
             ├─6550 /bin/bash /usr/local/bin/logtest/logtest.sh
             └─6568 python /usr/local/bin/logtest/logtest.py

Установите и настройте Fluent Bit

  1. Добавьте GPG-ключ, которым подписаны пакеты в репозитории Fluent Bit:

    wget -qO - https://packages.fluentbit.io/fluentbit.key | sudo apt-key add -

  2. Добавьте в файл /etc/apt/sources.list следующую строку:

    deb https://packages.fluentbit.io/ubuntu/focal focal main

  3. Обновите версии установленных пакетов:

    sudo apt-get update

  4. Установите пакет fluent-bit:

    sudo apt-get install fluent-bit

  5. Запустите сервис fluent-bit:

    sudo systemctl start fluent-bit

  6. Проверьте статус сервиса fluent-bit, он должен быть активен:

    systemctl status fluent-bit

    Результат:

    ● fluent-bit.service - Fluent Bit
     Loaded: loaded (/lib/systemd/system/fluent-bit.service; disabled; vendor preset: enabled)
     Active: active (running) since Tue 2024-04-30 09:00:58 UTC; 3h 35min ago
       Docs: https://docs.fluentbit.io/manual/
   Main PID: 589764 (fluent-bit)
      Tasks: 9 (limit: 2219)
     Memory: 18.8M
        CPU: 2.543s
     CGroup: /system.slice/fluent-bit.service
             └─589764 /opt/fluent-bit/bin/fluent-bit -c //etc/fluent-bit/fluent-bit.conf

Подключите плагин

  1. Клонируйте репозиторий с кодом плагина:

    git clone https://github.com/yandex-cloud/fluent-bit-plugin-yandex.git

  2. Запишите в переменные окружения версии пакетов:

    cd fluent-bit-plugin-yandex/
export fluent_bit_version=3.0.3
export golang_version=1.22.2
export plugin_version=dev

    Где:

    • fluent_bit_version — версия пакета fluent-bit. Для проверки версии воспользуйтесь командой /opt/fluent-bit/bin/fluent-bit --version.
    • golang_version — версия компилятора Go. Для проверки версии воспользуйтесь командой go version.

  3. Выйдите из виртуального окружения Python и назначьте права на директорию с плагином:

     deactivate

     sudo chown -R $USER:$USER /fluent-bit-plugin-yandex

  4. Скомпилируйте библиотеку yc-logging.so:

    CGO_ENABLED=1 go build -buildmode=c-shared \
    -o ./yc-logging.so \
    -ldflags "-X main.PluginVersion=${plugin_version}" \
    -ldflags "-X main.FluentBitVersion=${fluent_bit_version}"

  5. Скопируйте библиотеку yc-logging.so в директорию библиотек fluent-bit:

    sudo cp yc-logging.so /usr/lib/fluent-bit/plugins/yc-logging.so

  6. Добавьте в файл с настройками плагинов /etc/fluent-bit/plugins.conf путь до библиотеки yc-logging.so:

    [PLUGINS]
    Path /usr/lib/fluent-bit/plugins/yc-logging.so

  7. Добавьте в файл /etc/fluent-bit/fluent-bit.conf настройки сервиса fluent-bit:

    [INPUT]
    Name  systemd
    Tag   host.*
    Systemd_Filter  _SYSTEMD_UNIT=logtest.service

[OUTPUT]
    Name            yc-logging
    Match           *
    resource_type   logtest
    folder_id       <идентификатор_каталога>
    message_key     MESSAGE
    level_key       SEVERITY
    default_level   WARN
    authorization   instance-service-account

    Где:

  8. Перезапустите сервис fluent-bit:

    sudo systemctl restart fluent-bit

Посмотрите логи

  1. В консоли управления перейдите в каталог, который указали в настройках сервиса fluent-bit.
  2. Выберите сервис Cloud Logging.
  3. Нажмите на строку c лог-группой по умолчанию default.
  4. Перейдите на вкладку Логи.
  5. На открывшейся странице отобразятся записи.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы посмотреть записи в лог-группе, выполните команду:

yc logging read --folder-id=<идентификатор_каталога>

Где --folder-id — идентификатор каталога, который указан в настройках сервиса fluent-bit.

Чтобы посмотреть записи в лог-группе, воспользуйтесь вызовом gRPC API LogReadingService/Read.

Удалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

  1. Удалите виртуальную машину.
  2. Удалите лог-группу.
Предыдущая
Начало работы с Packer
Следующая
Сборка образа ВМ с набором инфраструктурных инструментов с помощью Packer