Связаться с намиПодключиться

Репликация логов в Object Storage с помощью Data Streams

Статья создана
Обновлена 22 октября 2024 г.

С помощью Yandex Data Streams можно настроить автоматическую репликацию логов сервисов и пользовательских приложений в Yandex Object Storage.

Решение работает по следующей схеме:

  1. В лог-группу Cloud Logging поступают логи, например с виртуальной машины.
  2. В настройках лог-группы указан поток данных Data Streams, в который автоматически транслируются логи.
  3. Настроен трансфер Data Transfer, который забирает данные из потока и сохраняет в бакет Object Storage.

Чтобы настроить репликацию логов:

  1. Подготовьте облако к работе.
  2. Настройте окружение.
  3. Создайте бакет.
  4. Создайте поток данных.
  5. Подключите поток данных к лог-группе.
  6. Создайте трансфер.
  7. Проверьте отправку и получение данных.

Если вы больше не хотите хранить логи, удалите используемые ресурсы.

Перед началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

В стоимость поддержки хранения данных входит:

Настройте окружение

  1. Создайте сервисный аккаунт, например logs-sa, c ролью editor на каталог.
  2. Настройте передачу логов в лог-группу. Например, вы можете передавать логи с ВМ или добавить в лог-группу тестовые записи.

Создайте бакет

  1. В консоли управления выберите каталог, в котором хотите создать бакет.
  2. Выберите сервис Object Storage.
  3. Нажмите кнопку Создать бакет.
  4. Введите имя бакета.
  5. В поле Класс хранилища выберите Холодное.
  6. Нажмите кнопку Создать бакет.

Создайте поток данных

  1. В консоли управления выберите каталог, в котором хотите создать поток данных.
  2. Выберите сервис Data Streams.
  3. Нажмите кнопку Создать поток.
  4. Укажите существующую бессерверную базу данных YDB или создайте новую. Если вы создали новую БД, нажмите значок , чтобы обновить список БД.
  5. Введите имя потока данных, например logs-stream.
  6. Нажмите кнопку Создать.

Дождитесь запуска потока данных. Когда поток станет готов к использованию, его статус изменится с Creating на Active.

Подключите поток данных к лог-группе

  1. В консоли управления выберите сервис Cloud Logging.
  2. Напротив лог-группы, в которую поступают логи, нажмите и выберите Редактировать.
  3. В поле Поток данных выберите поток logs-stream, созданный ранее.
  4. Нажмите кнопку Сохранить.

Создайте трансфер

  1. В консоли управления выберите каталог, в котором хотите создать трансфер.
  2. Выберите сервис Data Transfer.
  3. Создайте эндпоинт-источник:
    1. На вкладке Эндпоинты нажмите кнопку Создать эндпоинт.
    2. В поле Направление выберите Источник.
    3. Введите имя эндпоинта, например logs-source.
    4. В списке Тип базы данных выберите Yandex Data Streams.
    5. Выберите базу данных, которую указали в настройках потока данных, созданного ранее.
    6. Введите имя потока данных logs-stream.
    7. Выберите созданный ранее сервисный аккаунт logs-sa.
    8. В блоке Расширенные настройки укажите правила конвертации для данных Парсер CloudLogging.
    9. Нажмите кнопку Создать.
  4. Создайте эндпоинт-приемник:
    1. На вкладке Эндпоинты нажмите кнопку Создать эндпоинт.
    2. В поле Направление выберите Приёмник.
    3. Введите имя эндпоинта, например logs-receiver.
    4. В списке Тип базы данных выберите Object Storage.
    5. Введите имя созданного ранее бакета.
    6. Выберите созданный ранее сервисный аккаунт logs-sa.
    7. В поле Выходной формат выберите JSON.
    8. Нажмите кнопку Создать.
  5. Создайте трансфер:
    1. На вкладке Трансферы нажмите кнопку Создать трансфер.
    2. Введите имя трансфера, например logs-transfer.
    3. Выберите созданный ранее эндпоинт-источник logs-source.
    4. Выберите созданный ранее эндпоинт-приемник logs-receiver.
    5. Нажмите кнопку Создать.
  6. Напротив созданного трансфера нажмите и выберите Активировать.

Дождитесь активации трансфера. Когда трансфер станет готов к использованию, его статус сменится с Создается на Реплицируется.

Проверьте отправку и получение данных

  1. В консоли управления перейдите в каталог, в котором создали поток данных, трансфер и бакет.
  2. Выберите сервис Data Streams.
  3. Выберите поток данных logs-stream.
  4. Перейдите на вкладку Мониторинг и посмотрите графики активности потока.
  5. Выберите сервис Data Transfer.
  6. Выберите трансфер logs-transfer.
  7. Перейдите на вкладку Мониторинг и посмотрите графики активности трансфера.
  8. Выберите сервис Object Storage.
  9. Выберите бакет, созданный ранее.
  10. Проверьте, что в бакете появились объекты. Скачайте и посмотрите полученные файлы с логами.

Как удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

  1. Удалите трансфер.
  2. Удалите эндпоинты.
  3. Удалите поток данных.
  4. Удалите объекты в бакете.
  5. Удалите бакет.
Предыдущая
Репликация логов в Object Storage с помощью Fluent Bit
Следующая
Визуализация логов в Grafana с помощью плагина Yandex Cloud Logging