Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex Compute Cloud
  • Yandex Container Solution
    • Все руководства
    • Настройка синхронизации часов с помощью NTP
    • Автомасштабирование группы ВМ для обработки сообщений из очереди
    • Обновление группы ВМ под нагрузкой
    • Развертывание Remote Desktop Gateway
    • Начало работы с Packer
    • Передача логов с ВМ в Yandex Cloud Logging
    • Сборка образа ВМ с набором инфраструктурных инструментов с помощью Packer
    • Миграция в Yandex Cloud с помощью Хайстекс Акура
    • Защита от сбоев с помощью Хайстекс Акура
    • Резервное копирование ВМ с помощью Хайстекс Акура
    • Развертывание отказоустойчивой архитектуры с прерываемыми ВМ
    • Настройка отказоустойчивой архитектуры в Yandex Cloud
    • Создание триггера для бюджетов, который вызывает функцию для остановки ВМ
    • Создание триггеров, которые вызывают функции для остановки ВМ и отправки уведомлений в Telegram
    • Создание веб-приложения на Python с использованием фреймворка Flask
    • Создание SAP-программы в Yandex Cloud
    • Развертывание сервера Minecraft в Yandex Cloud
    • Автоматизация сборки образов с помощью Jenkins и Packer
    • Создание тестовых виртуальных машин через GitLab CI
    • Высокопроизводительные вычисления (HPC) на прерываемых ВМ
    • Настройка SFTP-сервера на Centos 7
    • Развертывание параллельной файловой системы GlusterFS в высокодоступном режиме
    • Развертывание параллельной файловой системы GlusterFS в высокопроизводительном режиме
    • Резервное копирование в Object Storage с помощью Bacula
    • Построение пайплайна CI/CD в GitLab с использованием serverless-продуктов
    • Реализация защищенной высокодоступной сетевой инфраструктуры с выделением DMZ на основе Check Point NGFW
    • Сегментация облачной инфраструктуры с помощью решения Check Point Next-Generation Firewall
    • Настройка защищенного туннеля GRE поверх IPsec
    • Создание бастионного хоста
    • Реализация отказоустойчивых сценариев для сетевых виртуальных машин
    • Создание туннеля между двумя подсетями при помощи OpenVPN Access Server
    • Создание внешней таблицы на базе таблицы из бакета Object Storage с помощью конфигурационного файла
    • Настройка сетевой связности между подсетями BareMetal и Virtual Private Cloud
    • Работа со снапшотами в Managed Service for Kubernetes
    • Запуск языковой модели DeepSeek-R1 в кластере GPU
    • Запуск библиотеки vLLM с языковой моделью Gemma 3 на ВМ с GPU
    • Доставка USB-устройств на виртуальную машину или сервер BareMetal
  • Управление доступом
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • История изменений
  • Обучающие курсы

В этой статье:

  • Перед началом работы
  • Создайте сервис systemd, генерирующий логи
  • Установите и настройте Fluent Bit
  • Подключите плагин
  • Посмотрите логи
  • Удалите созданные ресурсы
  1. Практические руководства
  2. Передача логов с ВМ в Yandex Cloud Logging

Передача логов с ВМ в Yandex Cloud Logging

Статья создана
Yandex Cloud
Улучшена
Обновлена 21 апреля 2025 г.
  • Перед началом работы
  • Создайте сервис systemd, генерирующий логи
  • Установите и настройте Fluent Bit
  • Подключите плагин
  • Посмотрите логи
  • Удалите созданные ресурсы

Обработчик логов Fluent Bit позволяет транслировать логи с виртуальных машин в сервис Yandex Cloud Logging. Для передачи логов используется модуль Fluent Bit plugin for Yandex Cloud Logging.

Чтобы настроить передачу логов:

  1. Создайте сервис systemd, генерирующий логи.
  2. Установите и настройте Fluent Bit.
  3. Подключите плагин.

Перед началом работыПеред началом работы

  1. Создайте сервисный аккаунт с ролью logging.writer на каталог.
  2. Создайте ВМ из публичного образа Ubuntu 20.04. В блоке Доступ укажите сервисный аккаунт, который создали на предыдущем шаге.
  3. Подключитесь к ВМ по SSH.
  4. Установите на ВМ:
    • Go не ниже версии 1.17:

      wget https://go.dev/dl/go1.17.6.linux-amd64.tar.gz
      tar -xzf go1.17.6.linux-amd64.tar.gz
      export PATH=$PWD/go/bin:$PATH
      
    • Git:

      sudo apt install git
      

Создайте сервис systemd, генерирующий логиСоздайте сервис systemd, генерирующий логи

  1. Создайте директорию:

    sudo mkdir /usr/local/bin/logtest
    sudo chown $USER /usr/local/bin/logtest
    cd /usr/local/bin/logtest
    
  2. Создайте файл logtest.py:

    import logging
    import random
    import sys
    import time
    
    from systemdlogging.toolbox import check_for_systemd
    from systemdlogging.toolbox import SystemdFormatter
    from systemdlogging.toolbox import SystemdHandler
    
    # Следующие несколько строк можно заменить на вызов `systemdlogging.toolbox.init_systemd_logging`
    # Код приводится в целях демонстрации
    
    # Проверяем, доступен ли systemd
    systemd_ok = check_for_systemd()
    
    if systemd_ok:
        handler = SystemdHandler()
        # syslog_id: значение, которое будет использовано в поле SYSLOG_IDENTIFIER
        handler.syslog_id = ''
        handler.setFormatter(SystemdFormatter())
    
        # Получаем экземпляр объекта логгера
        logger = logging.getLogger()
        logger.addHandler(handler)
    
    else:
        logger = logging.getLogger(__name__)
        # Логи выводятся в STDOUT
        handler = logging.StreamHandler(stream=sys.stdout)
        handler.setFormatter(logging.Formatter(
            '[%(levelname)s] %(code)d %(message)s'
        ))
        logger.addHandler(handler)
    
    # Настраиваем уровень логирования по умолчанию, опционально
    logger.setLevel(logging.DEBUG)
    
    # Генерируем URL-подобные значения
    PATHS = [
        '/',
        '/admin',
        '/hello',
        '/docs',
    ]
    
    PARAMS = [
        'foo',
        'bar',
        'query',
        'search',
        None
    ]
    
    
    def fake_url():
        path = random.choice(PATHS)
        param = random.choice(PARAMS)
        if param:
            val = random.randint(0, 100)
            param += '=%s' % val
        code = random.choices([200, 400, 404, 500], weights=[10, 2, 2, 1])[0]
        return '?'.join(filter(None, [path, param])), code
    
    
    if __name__ == '__main__':
        while True:
            # Создаем пару — код и значение URL
            path, code = fake_url()
            # Если код 200, пишем в  лог с уровнем Info
            # Cloud Logging смотрит на текстовое написание уровня логирования, поэтому в `context` передаем
            # дополнительное значение `SEVERITY`
            # Оно попадет в journald и сможет быть прочитано в плагине yc-logging
            if code == 200:
                logger.info(
                    'Path: %s',
                    path,
                    extra={"code": code, "context": {"SEVERITY": "info"}},
                )
            # Иначе с уровнем Error
            else:
                logger.error(
                    'Error: %s',
                    path,
                    extra={"code": code, "context": {"SEVERITY": "error"}},
                )
    
            # Ждем 1 секунду, чтобы не засорять журнал
            time.sleep(1)
    
  3. Обновите версии установленных пакетов:

    sudo apt-get update
    
  4. Создайте виртуальную среду и установите необходимые зависимости:

    sudo apt install python3-pip python3.8-venv
    
    python3 -m venv venv
    source venv/bin/activate
    pip3 install systemd-logging
    
  5. Создайте файл logtest.sh:

    #!/bin/bash
    
    SCRIPT_PATH=$(dirname "$(realpath "$0")")
    . "$SCRIPT_PATH/venv/bin/activate"
    python "$SCRIPT_PATH/logtest.py"
    
  6. systemd будет вызывать logtest.sh для запуска сервиса, поэтому сделайте файл исполняемым:

    chmod +x logtest.sh
    
  7. Создайте файл logtest.service:

    [Unit]
    Description=Sample to show logging from a Python application to systemd
    After=network.target
    
    [Service]
    Type=simple
    ExecStart=/usr/local/bin/logtest/logtest.sh
    Restart=on-abort
    
    [Install]
    WantedBy=multi-user.target
    
  8. Создайте символическую ссылку для logtest.service:

    sudo ln -s "$(pwd)/logtest.service" /etc/systemd/system/logtest.service
    
  9. Перезапустите systemd:

    sudo systemctl daemon-reload
    
  10. Посмотрите статус сервиса logtest.service:

    systemctl status logtest.service
    

    Результат:

    ● logtest.service - Sample to show logging from a Python application to systemd
     Loaded: loaded (/etc/systemd/system/logtest.service; linked; vendor preset: enabled)
     Active: inactive (dead)
    
  11. Запустите сервис logtest.service:

    sudo systemctl start logtest.service
    
  12. Снова посмотрите статус сервиса logtest.service, теперь он должен быть активен:

    systemctl status logtest.service
    

    Результат:

    ● logtest.service - Sample to show logging from a Python application to systemd
         Loaded: loaded (/etc/systemd/system/logtest.service; linked; vendor preset: enabled)
         Active: active (running) since Wed 2022-02-02 18:49:03 UTC; 13h ago
       Main PID: 6550 (logtest.sh)
          Tasks: 2 (limit: 2311)
         Memory: 8.5M
         CGroup: /system.slice/logtest.service
                 ├─6550 /bin/bash /usr/local/bin/logtest/logtest.sh
                 └─6568 python /usr/local/bin/logtest/logtest.py
    

Установите и настройте Fluent BitУстановите и настройте Fluent Bit

  1. Добавьте GPG-ключ, которым подписаны пакеты в репозитории Fluent Bit:

    wget -qO - https://packages.fluentbit.io/fluentbit.key | sudo apt-key add -
    
  2. Добавьте в файл /etc/apt/sources.list следующую строку:

    deb https://packages.fluentbit.io/ubuntu/focal focal main
    
  3. Обновите версии установленных пакетов:

    sudo apt-get update
    
  4. Установите пакет fluent-bit:

    sudo apt-get install fluent-bit
    
  5. Запустите сервис fluent-bit:

    sudo systemctl start fluent-bit
    
  6. Проверьте статус сервиса fluent-bit, он должен быть активен:

    systemctl status fluent-bit
    

    Результат:

    ● fluent-bit.service - Fluent Bit
         Loaded: loaded (/lib/systemd/system/fluent-bit.service; disabled; vendor preset: enabled)
         Active: active (running) since Tue 2024-04-30 09:00:58 UTC; 3h 35min ago
           Docs: https://docs.fluentbit.io/manual/
       Main PID: 589764 (fluent-bit)
          Tasks: 9 (limit: 2219)
         Memory: 18.8M
            CPU: 2.543s
         CGroup: /system.slice/fluent-bit.service
                 └─589764 /opt/fluent-bit/bin/fluent-bit -c //etc/fluent-bit/fluent-bit.conf
    

Подключите плагинПодключите плагин

  1. Клонируйте репозиторий с кодом плагина:

    git clone https://github.com/yandex-cloud/fluent-bit-plugin-yandex.git
    
  2. Запишите в переменные окружения версии пакетов:

    cd fluent-bit-plugin-yandex/
    export fluent_bit_version=3.0.3
    export golang_version=1.22.2
    export plugin_version=dev
    

    Где:

    • fluent_bit_version — версия пакета fluent-bit. Для проверки версии воспользуйтесь командой /opt/fluent-bit/bin/fluent-bit --version.
    • golang_version — версия компилятора Go. Для проверки версии воспользуйтесь командой go version.
  3. Выйдите из виртуального окружения Python и назначьте права на директорию с плагином:

     deactivate
    
     sudo chown -R $USER:$USER /fluent-bit-plugin-yandex
    
  4. Скомпилируйте библиотеку yc-logging.so:

    CGO_ENABLED=1 go build -buildmode=c-shared \
        -o ./yc-logging.so \
        -ldflags "-X main.PluginVersion=${plugin_version}" \
        -ldflags "-X main.FluentBitVersion=${fluent_bit_version}"
    
  5. Скопируйте библиотеку yc-logging.so в директорию библиотек fluent-bit:

    sudo cp yc-logging.so /usr/lib/fluent-bit/plugins/yc-logging.so
    
  6. Добавьте в файл с настройками плагинов /etc/fluent-bit/plugins.conf путь до библиотеки yc-logging.so:

    [PLUGINS]
        Path /usr/lib/fluent-bit/plugins/yc-logging.so
    
  7. Добавьте в файл /etc/fluent-bit/fluent-bit.conf настройки сервиса fluent-bit:

    [INPUT]
        Name  systemd
        Tag   host.*
        Systemd_Filter  _SYSTEMD_UNIT=logtest.service
    
    [OUTPUT]
        Name            yc-logging
        Match           *
        resource_type   logtest
        folder_id       <идентификатор_каталога>
        message_key     MESSAGE
        level_key       SEVERITY
        default_level   WARN
        authorization   instance-service-account
    

    Где:

    • folder_id — идентификатор каталога, в лог-группу по умолчанию которого будут передаваться логи.
    • authorization — настройки авторизации. Укажите instance-service-account, чтобы авторизоваться от имени сервисного аккаунта, который указали в блоке Доступ при создании ВМ.
  8. Перезапустите сервис fluent-bit:

    sudo systemctl restart fluent-bit
    

Посмотрите логиПосмотрите логи

Консоль управления
CLI
API
  1. В консоли управления перейдите в каталог, который указали в настройках сервиса fluent-bit.
  2. Выберите сервис Cloud Logging.
  3. Нажмите на строку c лог-группой по умолчанию default.
  4. Перейдите на вкладку Логи.
  5. На открывшейся странице отобразятся записи.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы посмотреть записи в лог-группе, выполните команду:

yc logging read --folder-id=<идентификатор_каталога>

Где --folder-id — идентификатор каталога, который указан в настройках сервиса fluent-bit.

Чтобы посмотреть записи в лог-группе, воспользуйтесь вызовом gRPC API LogReadingService/Read.

Удалите созданные ресурсыУдалите созданные ресурсы

Если созданные ресурсы вам больше не нужны, удалите их:

  1. Удалите виртуальную машину.
  2. Удалите лог-группу.

Была ли статья полезна?

Предыдущая
Начало работы с Packer
Следующая
Сборка образа ВМ с набором инфраструктурных инструментов с помощью Packer
Проект Яндекса
© 2025 ООО «Яндекс.Облако»