Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Yandex Object Storage
    • Все руководства
    • Получение статистики запросов к объекту с использованием S3 Select
    • Получение статистики посещения сайта с использованием S3 Select
    • Получение статистики запросов к объектам с использованием Yandex Query
    • Анализ поресурсной детализации расходов
    • Шифрование на стороне сервера
    • Интеграция L7-балансировщика с CDN и Object Storage
    • Сине-зеленое и канареечное развертывание версий сервиса
    • Анализ логов с использованием DataLens
    • Монтирование бакетов к файловой системе хостов Yandex Data Processing
    • Использование Object Storage в Yandex Data Processing
    • Импорт данных из Object Storage, обработка и экспорт в Managed Service for ClickHouse®
    • Подключение бакета как диска в Windows
    • Миграция данных из Yandex Data Streams с помощью Yandex Data Transfer
    • Использование гибридного хранилища в Yandex Managed Service for ClickHouse®
    • Загрузка данных из Yandex Managed Service for OpenSearch в Yandex Object Storage с помощью Yandex Data Transfer
    • Автоматическое копирование объектов из бакета в бакет
    • Регулярное асинхронное распознавание аудиофайлов в бакете
    • Обучение модели в Yandex DataSphere на данных из Object Storage
    • Подключение к Object Storage из VPC
    • Перенос данных в Yandex Managed Service for PostgreSQL с использованием Yandex Data Transfer
    • Загрузка данных в Yandex Managed Service for Greenplum® с помощью Yandex Data Transfer
    • Загрузка данных в Yandex Managed Service for ClickHouse® с помощью Yandex Data Transfer
    • Загрузка данных в Yandex Managed Service for YDB с помощью Yandex Data Transfer
    • Обмен данными между Yandex Managed Service for ClickHouse® и Yandex Data Processing
    • Загрузка данных из Yandex Managed Service for YDB с помощью Yandex Data Transfer
    • Хостинг статического сайта на фреймворке Gatsby в Object Storage
    • Миграция базы данных из Managed Service for PostgreSQL в Object Storage
    • Обмен данными между Yandex Managed Service for ClickHouse® и Yandex Data Processing
    • Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Processing с помощью Sqoop
    • Импорт данных из Yandex Managed Service for MySQL® в Yandex Data Processing с помощью Sqoop
    • Миграция данных из Yandex Object Storage в Yandex Managed Service for MySQL® с помощью Yandex Data Transfer
    • Миграция базы данных из Yandex Managed Service for MySQL® в Yandex Object Storage
    • Выгрузка данных Greenplum® в холодное хранилище Yandex Object Storage
    • Загрузка данных из Яндекс Директ в витрину Yandex Managed Service for ClickHouse® с использованием Yandex Cloud Functions, Yandex Object Storage и Yandex Data Transfer
    • Миграция данных из Elasticsearch в Yandex Managed Service for OpenSearch
    • Загрузка состояний Terraform в Object Storage
    • Блокировка состояний Terraform с помощью Managed Service for YDB
    • Визуализация данных Yandex Query
    • Публикация обновлений для игр
    • Резервное копирование ВМ с помощью Хайстекс Акура
    • Резервное копирование в Object Storage с помощью CloudBerry Desktop Backup
    • Резервное копирование в Object Storage через Duplicati
    • Резервное копирование в Object Storage с помощью Bacula
    • Резервное копирование в Object Storage с помощью Veeam Backup
    • Резервное копирование в Object Storage с помощью Veritas Backup Exec
    • Резервное копирование кластера Managed Service for Kubernetes в Object Storage
    • Разработка пользовательской интеграции в API Gateway
    • Сокращатель ссылок
    • Хранение журналов работы приложения
    • Разработка навыка Алисы и сайта с авторизацией
    • Создание интерактивного serverless-приложения с использованием WebSocket
    • Развертывание веб-приложения с использованием Java Servlet API
    • Разработка Telegram-бота
    • Репликация логов в Object Storage с помощью Fluent Bit
    • Репликация логов в Object Storage с помощью Data Streams
    • Загрузка аудитных логов в SIEM ArcSight
    • Загрузка аудитных логов в SIEM Splunk
    • Создание сервера MLFlow для логирования экспериментов и артефактов
    • Работа с данными с помощью Yandex Query
    • Федеративные запросы к данным с помощью Query
    • Распознавание архива изображений в Vision OCR
    • Конвертация видео в GIF на Python
    • Автоматизация задач с помощью Managed Service for Apache Airflow™
    • Обработка файлов детализации в сервисе Yandex Cloud Billing
    • Развертывание веб-приложения с JWT-авторизацией в API Gateway и аутентификацией в Firebase
    • Поиск событий Yandex Cloud в Yandex Query
    • Поиск событий Yandex Cloud в Object Storage
    • Создание внешней таблицы на базе таблицы из бакета с помощью конфигурационного файла
    • Миграция базы данных из Google BigQuery в Managed Service for ClickHouse®
  • Правила тарификации
  • Справочник Terraform
  • Метрики Monitoring
  • Аудитные логи Audit Trails
  • Логи бакета
  • История изменений
  • Вопросы и ответы
  • Обучающие курсы

В этой статье:

  • Перед началом работы
  • Необходимые платные ресурсы
  • Настройте окружение
  • Создайте бакет
  • Создайте поток данных
  • Подключите поток данных к лог-группе
  • Создайте трансфер
  • Проверьте отправку и получение данных
  • Как удалить созданные ресурсы
  1. Практические руководства
  2. Репликация логов в Object Storage с помощью Data Streams

Репликация логов в Object Storage с помощью Yandex Data Streams

Статья создана
Yandex Cloud
Обновлена 17 марта 2025 г.
  • Перед началом работы
    • Необходимые платные ресурсы
  • Настройте окружение
  • Создайте бакет
  • Создайте поток данных
  • Подключите поток данных к лог-группе
  • Создайте трансфер
  • Проверьте отправку и получение данных
  • Как удалить созданные ресурсы

С помощью Yandex Data Streams можно настроить автоматическую репликацию логов сервисов и пользовательских приложений в Yandex Object Storage.

Решение работает по следующей схеме:

  1. В лог-группу Cloud Logging поступают логи, например с виртуальной машины.
  2. В настройках лог-группы указан поток данных Data Streams, в который автоматически транслируются логи.
  3. Настроен трансфер Data Transfer, который забирает данные из потока и сохраняет в бакет Object Storage.

Чтобы настроить репликацию логов:

  1. Подготовьте облако к работе.
  2. Настройте окружение.
  3. Создайте бакет.
  4. Создайте поток данных.
  5. Подключите поток данных к лог-группе.
  6. Создайте трансфер.
  7. Проверьте отправку и получение данных.

Если вы больше не хотите хранить логи, удалите используемые ресурсы.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки хранения данных входит:

  • Плата за обслуживание потока данных (см. тарифы Yandex Data Streams).
  • Плата за перенос данных между источниками и приемниками (см. тарифы Yandex Data Transfer).
  • Плата за хранение данных (см. тарифы Yandex Object Storage).

Настройте окружениеНастройте окружение

  1. Создайте сервисный аккаунт, например logs-sa, c ролью editor на каталог.
  2. Настройте передачу логов в лог-группу. Например, вы можете передавать логи с ВМ или добавить в лог-группу тестовые записи.

Создайте бакетСоздайте бакет

Консоль управления
  1. В консоли управления выберите каталог, в котором хотите создать бакет.
  2. Выберите сервис Object Storage.
  3. Нажмите кнопку Создать бакет.
  4. Введите имя бакета.
  5. В поле Класс хранилища выберите Холодное.
  6. Нажмите кнопку Создать бакет.

Создайте поток данныхСоздайте поток данных

Консоль управления
  1. В консоли управления выберите каталог, в котором хотите создать поток данных.
  2. Выберите сервис Data Streams.
  3. Нажмите кнопку Создать поток.
  4. Укажите существующую бессерверную базу данных YDB или создайте новую. Если вы создали новую БД, нажмите значок , чтобы обновить список БД.
  5. Введите имя потока данных, например logs-stream.
  6. Нажмите кнопку Создать.

Дождитесь запуска потока данных. Когда поток станет готов к использованию, его статус изменится с Creating на Active.

Подключите поток данных к лог-группеПодключите поток данных к лог-группе

Консоль управления
  1. В консоли управления выберите сервис Cloud Logging.
  2. Напротив лог-группы, в которую поступают логи, нажмите и выберите Редактировать.
  3. В поле Поток данных выберите поток logs-stream, созданный ранее.
  4. Нажмите кнопку Сохранить.

Создайте трансферСоздайте трансфер

Консоль управления
  1. В консоли управления выберите каталог, в котором хотите создать трансфер.
  2. Выберите сервис Data Transfer.
  3. Создайте эндпоинт-источник:
    1. На вкладке Эндпоинты нажмите кнопку Создать эндпоинт.
    2. В поле Направление выберите Источник.
    3. Введите имя эндпоинта, например logs-source.
    4. В списке Тип базы данных выберите Yandex Data Streams.
    5. Выберите базу данных, которую указали в настройках потока данных, созданного ранее.
    6. Введите имя потока данных logs-stream.
    7. Выберите созданный ранее сервисный аккаунт logs-sa.
    8. В блоке Расширенные настройки укажите правила конвертации для данных Парсер CloudLogging.
    9. Нажмите кнопку Создать.
  4. Создайте эндпоинт-приемник:
    1. На вкладке Эндпоинты нажмите кнопку Создать эндпоинт.
    2. В поле Направление выберите Приёмник.
    3. Введите имя эндпоинта, например logs-receiver.
    4. В списке Тип базы данных выберите Object Storage.
    5. Введите имя созданного ранее бакета.
    6. Выберите созданный ранее сервисный аккаунт logs-sa.
    7. В поле Выходной формат выберите JSON.
    8. Нажмите кнопку Создать.
  5. Создайте трансфер:
    1. На вкладке Трансферы нажмите кнопку Создать трансфер.
    2. Введите имя трансфера, например logs-transfer.
    3. Выберите созданный ранее эндпоинт-источник logs-source.
    4. Выберите созданный ранее эндпоинт-приемник logs-receiver.
    5. Нажмите кнопку Создать.
  6. Напротив созданного трансфера нажмите и выберите Активировать.

Дождитесь активации трансфера. Когда трансфер станет готов к использованию, его статус сменится с Создается на Реплицируется.

Проверьте отправку и получение данныхПроверьте отправку и получение данных

Консоль управления
  1. В консоли управления перейдите в каталог, в котором создали поток данных, трансфер и бакет.
  2. Выберите сервис Data Streams.
  3. Выберите поток данных logs-stream.
  4. Перейдите на вкладку Мониторинг и посмотрите графики активности потока.
  5. Выберите сервис Data Transfer.
  6. Выберите трансфер logs-transfer.
  7. Перейдите на вкладку Мониторинг и посмотрите графики активности трансфера.
  8. Выберите сервис Object Storage.
  9. Выберите бакет, созданный ранее.
  10. Проверьте, что в бакете появились объекты. Скачайте и посмотрите полученные файлы с логами.

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

  1. Удалите трансфер.
  2. Удалите эндпоинты.
  3. Удалите поток данных.
  4. Удалите объекты в бакете.
  5. Удалите бакет.

Была ли статья полезна?

Предыдущая
Репликация логов в Object Storage с помощью Fluent Bit
Следующая
Загрузка аудитных логов в SIEM ArcSight
Проект Яндекса
© 2025 ООО «Яндекс.Облако»