Загрузка аудитных логов в Yandex Managed Service for OpenSearch

Создайте трейл, который будет загружать аудитные логи ресурсов Yandex Cloud в поток данных Yandex Data Streams. Затем настройте непрерывную доставку логов в кластер Yandex Managed Service for OpenSearch с помощью Yandex Data Transfer.

Вы можете выгружать логи организации, облака или каталога.

Чтобы экспортировать аудитные логи:

1. Подготовьте облако к работе.
2. Создайте трейл, который отправляет логи в поток данных Data Streams.
3. Создайте кластер Managed Service for OpenSearch.
4. Настройте трансфер для доставки логов в кластер Managed Service for OpenSearch.
5. Проверьте результат.
6. Загрузите дополнительный контент.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость поддержки инфраструктуры входит:

• плата за вычислительные ресурсы и объем хранилища кластера OpenSearch (см. тарифы Yandex Managed Service for OpenSearch).
• использование потока данных (см. тарифы Data Streams).
• использование Yandex Managed Service for YDB в бессерверном режиме (см. тарифы Managed Service for YDB).

Создайте трейл, который отправляет логи в поток данных Data StreamsСоздайте трейл, который отправляет логи в поток данных Data Streams

Создайте трейл, который отправляет логи в поток данных с именем audit‑trails. Использование потока с таким именем позволяет упростить загрузку объектов библиотеки Security Content.

При создании трейла выберите нужную область сбора логов.

Создайте кластер Managed Service for OpenSearchСоздайте кластер Managed Service for OpenSearch

Настройте трансфер для доставки логов в кластер Managed Service for OpenSearchНастройте трансфер для доставки логов в кластер Managed Service for OpenSearch

1. Создайте эндпоинт для источника:

   • Тип базы данных — Yandex Data Streams.

   • Параметры эндпоинта:

     • Настройки подключения:

       • База данных — выберите базу данных Managed Service for YDB из списка.
       • Поток — укажите имя потока Data Streams.
       • Сервисный аккаунт — выберите или создайте сервисный аккаунт с ролью yds.editor.

     • Расширенные настройки:

       • Правила конвертации — Парсер AuditTrails.v1.

2. Создайте эндпоинт для приемника:

   • Тип базы данных — OpenSearch.

   • Параметры эндпоинта:

     • Настройки подключения:

       • Тип подключения — Кластер Managed Service for OpenSearch.

         • Кластер Managed Service for OpenSearch — выберите кластер-приемник из списка.

       • Пользователь и Пароль — укажите имя и пароль пользователя с доступом к базе, например, пользователя admin.

3. Создайте и активируйте трансфер:

   Вручную

   С помощью Terraform

   1. Создайте трансфер типа Репликация, использующий созданные эндпоинты.
   2. Активируйте трансфер и дождитесь его перехода в статус Реплицируется.

   1. Укажите в файле trails-to-opensearch.tf переменные:

      • source_endpoint_id — идентификатор эндпоинта для источника;
      • target_endpoint_id — идентификатор эндпоинта для приемника;
      • transfer_enabled — значение 1 для создания трансфера.

   2. Проверьте корректность файлов конфигурации Terraform с помощью команды:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

   3. Создайте необходимую инфраструктуру:

      1. Выполните команду для просмотра планируемых изменений:

         terraform plan
         

         Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

      2. Если вас устраивают планируемые изменения, внесите их:

         1. Выполните команду:

            terraform apply
            

         2. Подтвердите изменение ресурсов.

         3. Дождитесь завершения операции.

   4. Трансфер активируется автоматически. Дождитесь его перехода в статус Реплицируется.

Проверьте результатПроверьте результат

Убедитесь, что данные из Audit Trails успешно загружаются в OpenSearch:

1. Дождитесь перехода трансфера в статус Реплицируется.

2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

3. Выберите общий тенант Global.

4. Создайте новый шаблон индекса с именем audit-trails*:

   1. Откройте панель управления, нажав на значок .
   2. В разделе Management выберите Stack Management.
   3. Перейдите в раздел Index Patterns и внизу страницы нажмите на ссылку create an index pattern.
   4. В поле Index pattern name укажите audit-trails* и нажмите кнопку Next step.
   5. В поле Time field выберите application_usage_daily.timestamp и нажмите кнопку Create index pattern.

5. Откройте панель управления, нажав на значок .

6. В разделе OpenSearch Dashboards выберите Discover.

7. В открывшемся дашборде должны появиться данные из Audit Trails в формате Elastic Common Schema.

Загрузите дополнительный контентЗагрузите дополнительный контент

Для удобства пользователей команда безопасности Yandex Cloud подготовила библиотеку Solution Library — набор примеров и рекомендаций по построению безопасной инфраструктуры в Yandex Cloud. Библиотека доступна в публичном репозитории на GitHub. Она включает следующие объекты для загрузки в OpenSearch:

• дашборд с вариантами использования и статистикой;
• набор готовых запросов для поиска событий безопасности;
• примеры событий, на которые предварительно настроены оповещения (назначение уведомлений клиент указывает самостоятельно).

Все необходимые поля событий преобразованы в формат Elastic Common Schema (ECS), а полная таблица маппинга находится в документе Yandex Cloud Security Solution Library.

Чтобы воспользоваться Security Content:

1. Клонируйте репозиторий Yandex Cloud Security Solution Library:

   git clone https://github.com/yandex-cloud-examples/yc-export-auditlogs-to-opensearch.git
   

2. Подключитесь к кластеру-приемнику с помощью OpenSearch Dashboards.

3. Откройте панель управления, нажав на значок .

4. В разделе Management выберите Stack Management.

5. Перейдите в раздел Saved Objects и импортируйте файлы из каталога yc-export-auditlogs-to-opensearch/update-opensearch-scheme/content-for-transfer/:

   • dashboard.ndjson
   • filters.ndjson
   • search.ndjson

ДашбордДашборд

Воспользуйтесь подготовленным дашбордом Audit-trails-dashboard:

1. Откройте панель управления, нажав на значок .
2. В разделе OpenSearch Dashboards выберите Dashboard.
3. В списке дашбордов выберите Audit-trails-dashboard.

События безопасностиСобытия безопасности

Используйте подготовленный запрос для просмотра событий безопасности, которые можно отбирать с помощью фильтров.

1. Откройте панель управления, нажав на значок .
2. В разделе OpenSearch Dashboards выберите Discover.
3. На вкладке Open выберите запрос Search:Yandexcloud: Yandexcloud: Interesting fields.

Настройка алертовНастройка алертов

Используйте примеры кода для сущностей monitor и trigger при настройке алертов:

1. Откройте панель управления, нажав на значок .

2. В разделе OpenSearch Plugins выберите Alerting.

3. Скопируйте содержимое файлов примеров в окно создания:

   • monitor.json
   • trigger_action_example.json

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

1. Удалите трансфер.
2. Удалите эндпоинты для источника и приемника.
3. Удалите базу данных Managed Service for YDB.
4. Удалите созданные сервисные аккаунты.
5. Удалите трейл Audit Trails.

Остальные ресурсы удалите в зависимости от способа их создания:

Дополнительные материалыДополнительные материалы

Смотреть на YouTube вебинар Yandex Data Transfer в сценариях, о которых редко говорят.