Загрузка логов из Yandex Audit Trails в OpenSearch

Audit Trails — сервис сбора и выгрузки аудитных логов, который позволяет применять инструменты анализа и оперативного реагирования к событиям на уровне ресурсов Yandex Cloud. OpenSearch выступает в роли SIEM-системы для анализа логов и реагирования на события безопасности.

Мы покажем, как всего за несколько шагов настроить выгрузку логов из Audit Trails, используя сервисы Yandex Data Streams и Yandex Data Transfer и выбрав Yandex Managed Service for OpenSearch в качестве SIEM-системы для анализа логов и реагирования на события безопасности.

Создайте трейл, который будет загружать аудитные логи ресурсов Yandex Cloud в поток данных Yandex Data Streams. Затем настройте непрерывную доставку логов в кластер Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer.

Вы можете выгружать логи организации, облака или каталога.

Чтобы экспортировать аудитные логи:

1. Подготовьте облако к работе.
2. Создайте трейл, который отправляет логи в поток данных Data Streams.
3. Создайте кластер Managed Service for OpenSearch.
4. Настройте трансфер для доставки логов в кластер Managed Service for OpenSearch.
5. Проверьте результат.
6. Загрузите дополнительный контент.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры входит:

• плата за вычислительные ресурсы и объем хранилища кластера OpenSearch (см. тарифы Yandex Managed Service for OpenSearch).
• использование потока данных (см. тарифы Data Streams).
• использование Yandex Managed Service for YDB в бессерверном режиме (см. тарифы Managed Service for YDB).

Создайте трейл, который отправляет логи в поток данных Data StreamsСоздайте трейл, который отправляет логи в поток данных Data Streams

Подготовьте окружение и создайте трейл в зависимости от ресурсов Yandex Cloud:

• Организации.
• Облака.
• Каталога.

Обязательно назовите поток audit‑trails, чтобы упростить загрузку объектов библиотеки Security Content.

Создайте кластер Managed Service for OpenSearchСоздайте кластер Managed Service for OpenSearch

Настройте трансфер для доставки логов в кластер Managed Service for OpenSearchНастройте трансфер для доставки логов в кластер Managed Service for OpenSearch

1. Создайте эндпоинт для источника:

   • Тип базы данных — Yandex Data Streams.

   • Параметры эндпоинта:

     • Настройки подключения:

       • База данных — выберите базу данных Managed Service for YDB из списка.
       • Поток — укажите имя потока Data Streams.
       • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

     • Расширенные настройки:

       • Правила конвертации — Парсер AuditTrails.v1.

2. Создайте эндпоинт для приемника:

   • Тип базы данных — OpenSearch.

   • Параметры эндпоинта:

     • Настройки подключения:

       • Тип подключения — Кластер Managed Service for OpenSearch.

         • Кластер Managed Service for OpenSearch — выберите кластер-приемник из списка.

       • Пользователь и Пароль — укажите имя и пароль пользователя с доступом к базе, например, пользователя admin.

3. Создайте и активируйте трансфер:

   Вручную

   С помощью Terraform

   1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
   2. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

   1. Укажите в файле trails-to-opensearch.tf переменные:

      • source_endpoint_id — идентификатор эндпоинта для источника;
      • target_endpoint_id — идентификатор эндпоинта для приемника;
      • transfer_enabled — значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

   4. Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.

Проверьте результатПроверьте результат

Убедитесь, что данные из Audit Trails успешно загружаются в OpenSearch:

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

3. Выберите общий тенант Global.

4. Создайте новый шаблон индекса с именем audit-trails*:

   1. Откройте панель управления, нажав на значок .
   2. В разделе Management выберите Stack Management.
   3. Перейдите в раздел Index Patterns и внизу страницы нажмите на ссылку create an index pattern.
   4. В поле Index pattern name укажите audit-trails* и нажмите кнопку Next step.
   5. В поле Time field выберите application_usage_daily.timestamp и нажмите кнопку Create index pattern.

5. Откройте панель управления, нажав на значок .

6. В разделе OpenSearch Dashboards выберите Discover.

7. В открывшемся дашборде должны появиться данные из Audit Trails в формате Elastic Common Schema.

Загрузите дополнительный контентЗагрузите дополнительный контент

Для удобства пользователей команда безопасности Yandex Cloud подготовила библиотеку Solution Library — набор примеров и рекомендаций по построению безопасной инфраструктуры в Yandex Cloud. Библиотека доступна в публичном репозитории на GitHub. Она включает следующие объекты для загрузки в OpenSearch:

• дашборд с вариантами использования и статистикой;
• набор готовых запросов для поиска событий безопасности;
• примеры событий, на которые предварительно настроены оповещения (назначение уведомлений клиент указывает самостоятельно).

Все необходимые поля событий преобразованы в формат Elastic Common Schema (ECS), а полная таблица маппинга находится в документе Yandex Cloud Security Solution Library.

Чтобы воспользоваться Security Content:

1. Клонируйте репозиторий Yandex Cloud Security Solution Library:

   git clone https://github.com/yandex-cloud-examples/yc-export-auditlogs-to-opensearch.git
   

2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

3. Откройте панель управления, нажав на значок .

4. В разделе Management выберите Stack Management.

5. Перейдите в раздел Saved Objects и импортируйте файлы из каталога yc-export-auditlogs-to-opensearch/update-opensearch-scheme/content-for-transfer/:

   • dashboard.ndjson
   • filters.ndjson
   • search.ndjson

ДашбордДашборд

Воспользуйтесь подготовленным дашбордом Audit-trails-dashboard:

1. Откройте панель управления, нажав на значок .
2. В разделе OpenSearch Dashboards выберите Dashboard.
3. В списке дашбордов выберите Audit-trails-dashboard.

События безопасностиСобытия безопасности

Используйте подготовленный запрос для просмотра событий безопасности, которые можно отбирать с помощью фильтров.

1. Откройте панель управления, нажав на значок .
2. В разделе OpenSearch Dashboards выберите Discover.
3. На вкладке Open выберите запрос Search:Yandexcloud: Yandexcloud: Interesting fields.

Настройка алертовНастройка алертов

Используйте примеры кода для сущностей monitor и trigger при настройке алертов:

1. Откройте панель управления, нажав на значок .

2. В разделе OpenSearch Plugins выберите Alerting.

3. Скопируйте содержимое файлов примеров в окно создания:

   • monitor.json
   • trigger_action_example.json

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.
2. Удалите эндпоинты для источника и приемника.
3. Удалите базу данных Managed Service for YDB.
4. Удалите созданные сервисные аккаунты.
5. Удалите трейл Audit Trails.

Остальные ресурсы удалите в зависимости от способа их создания:

Дополнительные материалыДополнительные материалы

Больше информации о сценариях поставок данных в вебинаре Yandex Cloud: