Yandex Cloud
Поиск
Связаться с намиПодключиться
  • Документация
  • Блог
  • Все сервисы
  • Статус работы сервисов
    • Популярные
    • Инфраструктура и сеть
    • Платформа данных
    • Контейнеры
    • Инструменты разработчика
    • Бессерверные вычисления
    • Безопасность
    • Мониторинг и управление ресурсами
    • Машинное обучение
    • Бизнес-инструменты
  • Все решения
    • По отраслям
    • По типу задач
    • Экономика платформы
    • Безопасность
    • Техническая поддержка
    • Каталог партнёров
    • Обучение и сертификация
    • Облако для стартапов
    • Облако для крупного бизнеса
    • Центр технологий для общества
    • Облако для интеграторов
    • Поддержка IT-бизнеса
    • Облако для фрилансеров
    • Обучение и сертификация
    • Блог
    • Документация
    • Контент-программа
    • Мероприятия и вебинары
    • Контакты, чаты и сообщества
    • Идеи
    • Истории успеха
    • Тарифы Yandex Cloud
    • Промоакции и free tier
    • Правила тарификации
  • Документация
  • Блог
Проект Яндекса
© 2025 ООО «Яндекс.Облако»
Практические руководства
    • Все руководства
    • Миграция в Yandex Cloud с помощью Хайстекс Акура
    • Защита от сбоев с помощью Хайстекс Акура
    • Настройка SFTP-сервера на Centos 7
    • Резервное копирование ВМ с помощью Хайстекс Акура
    • Резервное копирование в Object Storage с помощью MSP360 Backup (CloudBerry Desktop Backup)
    • Резервное копирование в Object Storage через Duplicati
    • Резервное копирование в Object Storage с помощью Bacula
    • Резервное копирование в Object Storage с помощью Veeam Backup
    • Резервное копирование в Object Storage с помощью Veritas Backup Exec
    • Резервное копирование кластера Managed Service for Kubernetes в Object Storage
    • Развертывание параллельной файловой системы GlusterFS в высокодоступном режиме
    • Развертывание параллельной файловой системы GlusterFS в высокопроизводительном режиме
    • Репликация логов в Object Storage с помощью Data Streams
    • Репликация логов в Object Storage с помощью Fluent Bit
    • Использование Object Storage в Yandex Data Processing
    • Подключить сервер BareMetal к Cloud Backup

В этой статье:

  • Перед началом работы
  • Необходимые платные ресурсы
  • Настройте окружение
  • Создайте бакет
  • Создайте поток данных
  • Подключите поток данных к лог-группе
  • Создайте трансфер
  • Проверьте отправку и получение данных
  • Как удалить созданные ресурсы
  1. Хранение и восстановление данных
  2. Репликация логов в Object Storage с помощью Data Streams

Репликация логов в Yandex Object Storage с помощью Yandex Data Streams

Статья создана
Yandex Cloud
Обновлена 17 марта 2025 г.
  • Перед началом работы
    • Необходимые платные ресурсы
  • Настройте окружение
  • Создайте бакет
  • Создайте поток данных
  • Подключите поток данных к лог-группе
  • Создайте трансфер
  • Проверьте отправку и получение данных
  • Как удалить созданные ресурсы

С помощью Yandex Data Streams можно настроить автоматическую репликацию логов сервисов и пользовательских приложений в Yandex Object Storage.

Решение работает по следующей схеме:

  1. В лог-группу Cloud Logging поступают логи, например с виртуальной машины.
  2. В настройках лог-группы указан поток данных Data Streams, в который автоматически транслируются логи.
  3. Настроен трансфер Data Transfer, который забирает данные из потока и сохраняет в бакет Object Storage.

Чтобы настроить репликацию логов:

  1. Подготовьте облако к работе.
  2. Настройте окружение.
  3. Создайте бакет.
  4. Создайте поток данных.
  5. Подключите поток данных к лог-группе.
  6. Создайте трансфер.
  7. Проверьте отправку и получение данных.

Если вы больше не хотите хранить логи, удалите используемые ресурсы.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки хранения данных входит:

  • Плата за обслуживание потока данных (см. тарифы Yandex Data Streams).
  • Плата за перенос данных между источниками и приемниками (см. тарифы Yandex Data Transfer).
  • Плата за хранение данных (см. тарифы Yandex Object Storage).

Настройте окружениеНастройте окружение

  1. Создайте сервисный аккаунт, например logs-sa, c ролью editor на каталог.
  2. Настройте передачу логов в лог-группу. Например, вы можете передавать логи с ВМ или добавить в лог-группу тестовые записи.

Создайте бакетСоздайте бакет

Консоль управления
  1. В консоли управления выберите каталог, в котором хотите создать бакет.
  2. Выберите сервис Object Storage.
  3. Нажмите кнопку Создать бакет.
  4. Введите имя бакета.
  5. В поле Класс хранилища выберите Холодное.
  6. Нажмите кнопку Создать бакет.

Создайте поток данныхСоздайте поток данных

Консоль управления
  1. В консоли управления выберите каталог, в котором хотите создать поток данных.
  2. Выберите сервис Data Streams.
  3. Нажмите кнопку Создать поток.
  4. Укажите существующую бессерверную базу данных YDB или создайте новую. Если вы создали новую БД, нажмите значок , чтобы обновить список БД.
  5. Введите имя потока данных, например logs-stream.
  6. Нажмите кнопку Создать.

Дождитесь запуска потока данных. Когда поток станет готов к использованию, его статус изменится с Creating на Active.

Подключите поток данных к лог-группеПодключите поток данных к лог-группе

Консоль управления
  1. В консоли управления выберите сервис Cloud Logging.
  2. Напротив лог-группы, в которую поступают логи, нажмите и выберите Редактировать.
  3. В поле Поток данных выберите поток logs-stream, созданный ранее.
  4. Нажмите кнопку Сохранить.

Создайте трансферСоздайте трансфер

Консоль управления
  1. В консоли управления выберите каталог, в котором хотите создать трансфер.
  2. Выберите сервис Data Transfer.
  3. Создайте эндпоинт-источник:
    1. На вкладке Эндпоинты нажмите кнопку Создать эндпоинт.
    2. В поле Направление выберите Источник.
    3. Введите имя эндпоинта, например logs-source.
    4. В списке Тип базы данных выберите Yandex Data Streams.
    5. Выберите базу данных, которую указали в настройках потока данных, созданного ранее.
    6. Введите имя потока данных logs-stream.
    7. Выберите созданный ранее сервисный аккаунт logs-sa.
    8. В блоке Расширенные настройки укажите правила конвертации для данных Парсер CloudLogging.
    9. Нажмите кнопку Создать.
  4. Создайте эндпоинт-приемник:
    1. На вкладке Эндпоинты нажмите кнопку Создать эндпоинт.
    2. В поле Направление выберите Приёмник.
    3. Введите имя эндпоинта, например logs-receiver.
    4. В списке Тип базы данных выберите Object Storage.
    5. Введите имя созданного ранее бакета.
    6. Выберите созданный ранее сервисный аккаунт logs-sa.
    7. В поле Выходной формат выберите JSON.
    8. Нажмите кнопку Создать.
  5. Создайте трансфер:
    1. На вкладке Трансферы нажмите кнопку Создать трансфер.
    2. Введите имя трансфера, например logs-transfer.
    3. Выберите созданный ранее эндпоинт-источник logs-source.
    4. Выберите созданный ранее эндпоинт-приемник logs-receiver.
    5. Нажмите кнопку Создать.
  6. Напротив созданного трансфера нажмите и выберите Активировать.

Дождитесь активации трансфера. Когда трансфер станет готов к использованию, его статус сменится с Создается на Реплицируется.

Проверьте отправку и получение данныхПроверьте отправку и получение данных

Консоль управления
  1. В консоли управления перейдите в каталог, в котором создали поток данных, трансфер и бакет.
  2. Выберите сервис Data Streams.
  3. Выберите поток данных logs-stream.
  4. Перейдите на вкладку Мониторинг и посмотрите графики активности потока.
  5. Выберите сервис Data Transfer.
  6. Выберите трансфер logs-transfer.
  7. Перейдите на вкладку Мониторинг и посмотрите графики активности трансфера.
  8. Выберите сервис Object Storage.
  9. Выберите бакет, созданный ранее.
  10. Проверьте, что в бакете появились объекты. Скачайте и посмотрите полученные файлы с логами.

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

  1. Удалите трансфер.
  2. Удалите эндпоинты.
  3. Удалите поток данных.
  4. Удалите объекты в бакете.
  5. Удалите бакет.

Была ли статья полезна?

Предыдущая
Terraform
Следующая
Репликация логов в Object Storage с помощью Fluent Bit
Проект Яндекса
© 2025 ООО «Яндекс.Облако»