Загрузка логов из Yandex Audit Trails

Audit Trails — сервис сбора и выгрузки аудитных логов, который позволяет применять инструменты анализа и оперативного реагирования к событиям на уровне ресурсов Yandex Cloud. OpenSearch выступает в роли SIEM-системы для анализа логов и реагирования на события безопасности.

Мы покажем, как всего за несколько шагов настроить выгрузку логов из Audit Trails, используя сервисы Yandex Data Streams и Yandex Data Transfer и выбрав Yandex Managed Service for OpenSearch в качестве SIEM-системы для анализа логов и реагирования на события безопасности.

Создайте трейл, который будет загружать аудитные логи ресурсов Yandex Cloud в поток данных Yandex Data Streams. Затем настройте непрерывную доставку логов в кластер Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer.

Вы можете выгружать логи организации, облака или каталога.

Чтобы экспортировать аудитные логи:

1. Подготовьте облако к работе.
2. Создайте трейл, который отправляет логи в поток данных Data Streams.
3. Создайте кластер Managed Service for OpenSearch.
4. Настройте трансфер для доставки логов в кластер Managed Service for OpenSearch.
5. Проверьте результат.
6. Загрузите дополнительный контент.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Кластер Managed Service for OpenSearch: использование вычислительных ресурсов и объем хранилища (см. тарифы Managed Service for OpenSearch).

• Публичные IP-адреса, если для хостов кластера включен публичный доступ (см. тарифы Virtual Private Cloud).

• Сервис Data Streams (см. тарифы Data Streams). Стоимость зависит от режима тарификации:

  • По выделенным ресурсам — оплачивается фиксированная почасовая ставка за установленный лимит пропускной способности и срок хранения сообщений, а также дополнительно количество единиц фактически записанных данных.
  • По фактическому использованию (On-demand) — оплачиваются выполненные операции записи и чтения данных, объем считанных/записанных данных, а также объем фактически используемого хранилища для сообщений, по которым не истек срок хранения.

• База данных Managed Service for YDB, работающая в бессерверном режиме: операции с данными, объем хранимых данных и резервных копий (см. тарифы Managed Service for YDB).

Создайте трейл, который отправляет логи в поток данных Data StreamsСоздайте трейл, который отправляет логи в поток данных Data Streams

Создайте трейл, который отправляет логи в поток данных с именем audit‑trails. Использование потока с таким именем позволяет упростить загрузку объектов библиотеки Security Content.

При создании трейла выберите нужную область сбора логов.

Создайте кластер Managed Service for OpenSearchСоздайте кластер Managed Service for OpenSearch

Настройте трансфер для доставки логов в кластер Managed Service for OpenSearchНастройте трансфер для доставки логов в кластер Managed Service for OpenSearch

1. Создайте эндпоинт для источника:

   • Тип базы данных — Yandex Data Streams.

   • Параметры эндпоинта:

     • Настройки подключения:

       • База данных — выберите базу данных Managed Service for YDB из списка.
       • Поток — укажите имя потока Data Streams.
       • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

     • Расширенные настройки:

       • Правила конвертации — Парсер AuditTrails.v1.

2. Создайте эндпоинт для приемника:

   • Тип базы данных — OpenSearch.

   • Параметры эндпоинта:

     • Настройки подключения:

       • Тип подключения — Кластер Managed Service for OpenSearch.

         • Кластер Managed Service for OpenSearch — выберите кластер-приемник из списка.

       • Пользователь и Пароль — укажите имя и пароль пользователя с доступом к базе, например, пользователя admin.

3. Создайте и активируйте трансфер:

   Вручную

   С помощью Terraform

   1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
   2. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

   1. Укажите в файле trails-to-opensearch.tf переменные:

      • source_endpoint_id — идентификатор эндпоинта для источника;
      • target_endpoint_id — идентификатор эндпоинта для приемника;
      • transfer_enabled — значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

   4. Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.

Проверьте результатПроверьте результат

Убедитесь, что данные из Audit Trails успешно загружаются в OpenSearch:

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

3. Выберите общий тенант Global.

4. Создайте новый шаблон индекса с именем audit-trails*:

   1. Откройте панель управления, нажав на значок .
   2. В разделе Management выберите Stack Management.
   3. Перейдите в раздел Index Patterns и внизу страницы нажмите на ссылку create an index pattern.
   4. В поле Index pattern name укажите audit-trails* и нажмите кнопку Next step.
   5. В поле Time field выберите application_usage_daily.timestamp и нажмите кнопку Create index pattern.

5. Откройте панель управления, нажав на значок .

6. В разделе OpenSearch Dashboards выберите Discover.

7. В открывшемся дашборде должны появиться данные из Audit Trails в формате Elastic Common Schema.

Загрузите дополнительный контентЗагрузите дополнительный контент

Для удобства пользователей команда безопасности Yandex Cloud подготовила библиотеку Solution Library — набор примеров и рекомендаций по построению безопасной инфраструктуры в Yandex Cloud. Библиотека доступна в публичном репозитории на GitHub. Она включает следующие объекты для загрузки в OpenSearch:

• дашборд с вариантами использования и статистикой;
• набор готовых запросов для поиска событий безопасности;
• примеры событий, на которые предварительно настроены оповещения (назначение уведомлений клиент указывает самостоятельно).

Все необходимые поля событий преобразованы в формат Elastic Common Schema (ECS), а полная таблица маппинга находится в документе Yandex Cloud Security Solution Library.

Чтобы воспользоваться Security Content:

1. Клонируйте репозиторий Yandex Cloud Security Solution Library:

   git clone https://github.com/yandex-cloud-examples/yc-export-auditlogs-to-opensearch.git
   

2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

3. Откройте панель управления, нажав на значок .

4. В разделе Management выберите Stack Management.

5. Перейдите в раздел Saved Objects и импортируйте файлы из каталога yc-export-auditlogs-to-opensearch/update-opensearch-scheme/content-for-transfer/:

   • dashboard.ndjson
   • filters.ndjson
   • search.ndjson

ДашбордДашборд

Воспользуйтесь подготовленным дашбордом Audit-trails-dashboard:

1. Откройте панель управления, нажав на значок .
2. В разделе OpenSearch Dashboards выберите Dashboard.
3. В списке дашбордов выберите Audit-trails-dashboard.

События безопасностиСобытия безопасности

Используйте подготовленный запрос для просмотра событий безопасности, которые можно отбирать с помощью фильтров.

1. Откройте панель управления, нажав на значок .
2. В разделе OpenSearch Dashboards выберите Discover.
3. На вкладке Open выберите запрос Search:Yandexcloud: Yandexcloud: Interesting fields.

Настройка алертовНастройка алертов

Используйте примеры кода для сущностей monitor и trigger при настройке алертов:

1. Откройте панель управления, нажав на значок .

2. В разделе OpenSearch Plugins выберите Alerting.

3. Скопируйте содержимое файлов примеров в окно создания:

   • monitor.json
   • trigger_action_example.json

Удалите созданные ресурсыУдалите созданные ресурсы

Чтобы снизить потребление ресурсов, которые вам не нужны, удалите их:

1. Удалите трансфер.

2. Удалите эндпоинты для источника и приемника.

3. Удалите базу данных Managed Service for YDB.

4. Удалите созданные сервисные аккаунты.

5. Удалите трейл Audit Trails.

6. Остальные ресурсы удалите в зависимости от способа их создания:

   Вручную

   С помощью Terraform

   Удалите кластер Managed Service for OpenSearch.

   1. В терминале перейдите в директорию с планом инфраструктуры.

      Важно

      Убедитесь, что в директории нет Terraform-манифестов с ресурсами, которые вы хотите сохранить. Terraform удаляет все ресурсы, которые были созданы с помощью манифестов в текущей директории.

   2. Удалите ресурсы:

      1. Выполните команду:

         terraform destroy
         

      2. Подтвердите удаление ресурсов и дождитесь завершения операции.

      Все ресурсы, которые были описаны в Terraform-манифестах, будут удалены.

Дополнительные материалыДополнительные материалы

Больше информации о сценариях поставок данных в вебинаре Yandex Cloud:

Смотреть видео на YouTube.