Связаться с намиПодключиться

Загрузка логов из Yandex Audit Trails в OpenSearch

Статья создана
Обновлена 22 октября 2024 г.

Audit Trails — сервис сбора и выгрузки аудитных логов, который позволяет применять инструменты анализа и оперативного реагирования к событиям на уровне ресурсов Yandex Cloud. OpenSearch выступает в роли SIEM-системы для анализа логов и реагирования на события безопасности.

Мы покажем, как всего за несколько шагов настроить выгрузку логов из Audit Trails, используя сервисы Yandex Data Streams и Yandex Data Transfer и выбрав Yandex Managed Service for OpenSearch в качестве SIEM-системы для анализа логов и реагирования на события безопасности.

Создайте трейл, который будет загружать аудитные логи ресурсов Yandex Cloud в поток данных Yandex Data Streams. Затем настройте непрерывную доставку логов в кластер Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer.

Вы можете выгружать логи организации, облака или каталога.

Чтобы экспортировать аудитные логи:

  1. Подготовьте облако к работе.
  2. Создайте трейл, который отправляет логи в поток данных Data Streams.
  3. Создайте кластер Managed Service for OpenSearch.
  4. Настройте трансфер для доставки логов в кластер Managed Service for OpenSearch.
  5. Проверьте результат.
  6. Загрузите дополнительный контент.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

  1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
  2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

В стоимость поддержки инфраструктуры входит:

Создайте трейл, который отправляет логи в поток данных Data Streams

Подготовьте окружение и создайте трейл в зависимости от ресурсов Yandex Cloud:

Обязательно назовите поток audit‑trails, чтобы упростить загрузку объектов библиотеки Security Content.

Создайте кластер Managed Service for OpenSearch

Создайте кластер Managed Service for OpenSearch любой подходящей конфигурации.

  1. Если у вас еще нет Terraform, установите его.

  2. Получите данные для аутентификации. Вы можете добавить их в переменные окружения или указать далее в файле с настройками провайдера.

  3. Настройте и инициализируйте провайдер. Чтобы не создавать конфигурационный файл с настройками провайдера вручную, скачайте его.

  4. Поместите конфигурационный файл в отдельную рабочую директорию и укажите значения параметров. Если данные для аутентификации не были добавлены в переменные окружения, укажите их в конфигурационном файле.

  5. Скачайте в ту же рабочую директорию файл конфигурации trails-to-opensearch.tf.

    В этом файле описаны:

  6. Укажите в файле trails-to-opensearch.tf переменные:

    • os_version — версия OpenSearch в кластере-приемнике;
    • os_admin_password — пароль пользователя admin;
    • transfer_enabled — значение 0, чтобы не создавать трансфер до создания эндпоинтов вручную.

  7. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  8. Создайте необходимую инфраструктуру:

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    В указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Настройте трансфер для доставки логов в кластер Managed Service for OpenSearch

  1. Создайте эндпоинт для источника:

    • Тип базы данных — Yandex Data Streams.

    • Параметры эндпоинта:

      • Настройки подключения:

        • База данных — выберите базу данных Managed Service for YDB из списка.
        • Поток — укажите имя потока Data Streams.
        • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

      • Расширенные настройки:

        • Правила конвертации — Парсер AuditTrails.v1.

  2. Создайте эндпоинт для приемника:

    • Тип базы данных — OpenSearch.

    • Параметры эндпоинта:

      • Настройки подключения:

        • Тип подключения — Кластер Managed Service for OpenSearch.

          • Кластер Managed Service for OpenSearch — выберите кластер-приемник из списка.

        • Пользователь и Пароль — укажите имя и пароль пользователя с доступом к базе, например, пользователя admin.

  3. Создайте и активируйте трансфер:

    1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
    2. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

    1. Укажите в файле trails-to-opensearch.tf переменные:

      • source_endpoint_id — идентификатор эндпоинта для источника;
      • target_endpoint_id — идентификатор эндпоинта для приемника;
      • transfer_enabled — значение 1 для создания трансфера.

    2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

    3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

        terraform plan

        Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

        1. Выполните команду:

          terraform apply

        2. Подтвердите изменение ресурсов.

        3. Дождитесь завершения операции.

    4. Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.

Проверьте результат

Убедитесь, что данные из Audit Trails успешно загружаются в OpenSearch:

  1. Дождитесь перехода трансфера в статус Реплицируется.

  2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

  3. Выберите общий тенант Global.

  4. Создайте новый шаблон индекса с именем audit-trails*:

    1. Откройте панель управления, нажав на значок .
    2. В разделе Management выберите Stack Management.
    3. Перейдите в раздел Index Patterns и внизу страницы нажмите на ссылку create an index pattern.
    4. В поле Index pattern name укажите audit-trails* и нажмите кнопку Next step.
    5. В поле Time field выберите application_usage_daily.timestamp и нажмите кнопку Create index pattern.

  5. Откройте панель управления, нажав на значок .

  6. В разделе OpenSearch Dashboards выберите Discover.

  7. В открывшемся дашборде должны появиться данные из Audit Trails в формате Elastic Common Schema.

opensearch-discover

Важно

Поставка данных в приемники Managed Service for Elasticsearch и Managed Service for OpenSearch работает в режиме at least once: если в переносимых таблицах нет первичного ключа, то в аудитных логах могут создаваться дубликаты.

Загрузите дополнительный контент

Для удобства пользователей команда безопасности Yandex Cloud подготовила библиотеку Solution Library — набор примеров и рекомендаций по построению безопасной инфраструктуры в Yandex Cloud. Библиотека доступна в публичном репозитории на GitHub. Она включает следующие объекты для загрузки в OpenSearch:

  • дашборд с вариантами использования и статистикой;
  • набор готовых запросов для поиска событий безопасности;
  • примеры событий, на которые предварительно настроены оповещения (назначение уведомлений клиент указывает самостоятельно).

Все необходимые поля событий преобразованы в формат Elastic Common Schema (ECS), а полная таблица маппинга находится в документе Yandex Cloud Security Solution Library.

Чтобы воспользоваться Security Content:

  1. Клонируйте репозиторий Yandex Cloud Security Solution Library:

    git clone https://github.com/yandex-cloud-examples/yc-export-auditlogs-to-opensearch.git

  2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

  3. Откройте панель управления, нажав на значок .

  4. В разделе Management выберите Stack Management.

  5. Перейдите в раздел Saved Objects и импортируйте файлы из каталога yc-export-auditlogs-to-opensearch/update-opensearch-scheme/content-for-transfer/:

    • dashboard.ndjson
    • filters.ndjson
    • search.ndjson

Дашборд

Воспользуйтесь подготовленным дашбордом Audit-trails-dashboard:

  1. Откройте панель управления, нажав на значок .
  2. В разделе OpenSearch Dashboards выберите Dashboard.
  3. В списке дашбордов выберите Audit-trails-dashboard.

opensearch-audit-trails-dashboard

События безопасности

Используйте подготовленный запрос для просмотра событий безопасности, которые можно отбирать с помощью фильтров.

  1. Откройте панель управления, нажав на значок .
  2. В разделе OpenSearch Dashboards выберите Discover.
  3. На вкладке Open выберите запрос Search:Yandexcloud: Yandexcloud: Interesting fields.

opensearch-search-yandexcloud-interesting-fields

Настройка алертов

Используйте примеры кода для сущностей monitor и trigger при настройке алертов:

  1. Откройте панель управления, нажав на значок .

  2. В разделе OpenSearch Plugins выберите Alerting.

  3. Скопируйте содержимое файлов примеров в окно создания:

Удалите созданные ресурсы

Примечание

Перед тем как удалить созданные ресурсы, деактивируйте трансфер.

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

  1. Удалите трансфер.
  2. Удалите эндпоинты для источника и приемника.
  3. Удалите базу данных Managed Service for YDB.
  4. Удалите созданные сервисные аккаунты.
  5. Удалите трейл Audit Trails.

Остальные ресурсы удалите в зависимости от способа их создания:

  1. В терминале перейдите в директорию с планом инфраструктуры.

  2. Удалите конфигурационный файл trails-to-opensearch.tf.

  3. Проверьте корректность файлов конфигурации Terraform с помощью команды:

    terraform validate

    Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

    Все ресурсы, которые были описаны в конфигурационном файле trails-to-opensearch.tf, будут удалены.

Дополнительные материалы

Больше информации о сценариях поставок данных в вебинаре Yandex Cloud:

Предыдущая
YDS в Object Storage
Следующая
Ввод данных в системы хранения