Создание трейла для загрузки аудитных логов

1. Создайте лог-группу, в которую будут загружаться аудитные логи.

2. Создайте сервисный аккаунт для трейла.

3. Назначьте роли сервисному аккаунту, чтобы трейл мог собирать и загружать логи:

   • logging.writer на лог-группу.

   • audit-trails.viewer на один из ресурсов, который определяет нужную область сбора логов:

     • Организация — чтобы собирать логи в выбранных облаках организации.
     • Облако — чтобы собирать логи в выбранных каталогах облака.
     • Каталог — чтобы собирать логи в этом каталоге.

     Права доступа наследуются от родительского ресурса к дочерним. Например, если сервисному аккаунту назначить роль на облако, то трейл, использующий этот аккаунт, сможет собирать логи ресурсов во всех каталогах этого облака. Однако трейл не сможет собирать логи в других облаках, принадлежащих организации, — для этого потребуется назначить роль на организацию.

4. Убедитесь, что у аккаунта, от имени которого вы собираетесь создавать трейл, есть необходимые роли:

   • audit-trails.editor на каталог, в котором будет находиться трейл.
   • iam.serviceAccounts.user на сервисный аккаунт для трейла.

1. Создайте поток данных, в который будут загружаться аудитные логи.

   Совет

   Рекомендуем включить автопартиционирование на принимающем потоке данных.

   Часть событий может потеряться при перегрузке отдельных сегментов или всего потока. Автопартиционирование автоматически добавляет сегменты и распределяет нагрузку, что помогает избежать потерь. Если автопартиционирование отключено, самостоятельно проверяйте и увеличивайте количество сегментов при необходимости.

2. Создайте сервисный аккаунт для трейла.

3. Назначьте роли сервисному аккаунту, чтобы трейл мог собирать и загружать логи:

   • yds.writer на поток данных.

   • audit-trails.viewer на один из ресурсов, который определяет нужную область сбора логов:

     • Организация — чтобы собирать логи в выбранных облаках организации.
     • Облако — чтобы собирать логи в выбранных каталогах облака.
     • Каталог — чтобы собирать логи в этом каталоге.

     Права доступа наследуются от родительского ресурса к дочерним. Например, если сервисному аккаунту назначить роль на облако, то трейл, использующий этот аккаунт, сможет собирать логи ресурсов во всех каталогах этого облака. Однако трейл не сможет собирать логи в других облаках, принадлежащих организации, — для этого потребуется назначить роль на организацию.

4. Убедитесь, что у аккаунта, от имени которого вы собираетесь создавать трейл, есть необходимые роли:

   • audit-trails.editor на каталог, в котором будет находиться трейл.
   • iam.serviceAccounts.user на сервисный аккаунт для трейла.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Посмотрите описание команды CLI для создания трейла:

yc audit-trails trail create --help

Для сбора событий уровня сервисов используйте YAML-спецификацию. Если нужны только события уровня конфигурации, параметры можно передать непосредственно в команде.

yc audit-trails trail create \
  --name <имя_трейла> \
  --service-account-id <идентификатор_сервисного_аккаунта> \
  --destination-bucket <имя_бакета> \
  --filter-all-folder-id <идентификатор_каталога>

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробная информация о ресурсах провайдера в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы управлять инфраструктурой с помощью Terraform от имени сервисного аккаунта или пользовательских аккаунтов: аккаунта на Яндексе, федеративного аккаунта и локального пользователя, аутентифицируйтесь соответствующим способом.

1. Опишите в конфигурационном файле параметры трейла. В шаблоне логи загружаются в бакет:

   resource "yandex_audit_trails_trail" "basic_trail" {
     name        = "<имя_трейла>"
     folder_id   = "<идентификатор_каталога>"
     description = "<описание_трейла>"
     labels = {
       key = "value"
     }
     service_account_id = "<идентификатор_сервисного_аккаунта>"
   
     storage_destination {
       bucket_name   = "<имя_бакета>"
       object_prefix = "<префикс>"
     }
   
     filtering_policy {
       management_events_filter {
         resource_scope {
           resource_id   = "<идентификатор_организации_облака_или_каталога>"
           resource_type = "<тип>"
         }
       }
   
       data_events_filter {
         service         = "<имя_сервиса>"
         included_events = ["<полное_имя_события>"]
   
         resource_scope {
           resource_id   = "<идентификатор_организации_облака_или_каталога>"
           resource_type = "<тип>"
         }
       }
     }
   }
   

   Где:

   • name — имя создаваемого трейла. Требования к формату имени:

     • длина — от 3 до 63 символов;
     • может содержать строчные буквы латинского алфавита, цифры и дефисы;
     • первый символ — буква, последний — не дефис.

   • folder_id — идентификатор каталога, в котором создается трейл.

   • description — описание трейла. Необязательный параметр.

   • labels — список меток в формате ключ=значение. Необязательный параметр.

   • service_account_id — идентификатор сервисного аккаунта, от имени которого трейл собирает и загружает аудитные логи.

     В зависимости от области сбора аудитных логов сервисному аккаунту должна быть назначена роль audit-trails.viewer на организацию, облако или каталог, в которых трейл будет собирать аудитные логи.

   Укажите только один объект назначения: storage_destination, logging_destination или data_stream_destination.

   • logging_destination — загружать логи в лог-группу Yandex Cloud Logging.

     Замените блок storage_destination в шаблоне:

     logging_destination {
       log_group_id = "<идентификатор_лог_группы>"
     }
     
     • log_group_id — идентификатор лог-группы, в которую трейл будет сохранять аудитные логи.

   • storage_destination — загружать логи в бакет Yandex Object Storage:

     • bucket_name — имя бакета, куда трейл будет сохранять аудитные логи.

     • object_prefix — префикс, который будет присвоен объектам с аудитными логами в бакете. Необязательный параметр, участвует в полном имени файла аудитного лога.

       Примечание

       Используйте префикс, если вы храните аудитные логи и сторонние данные в одном и том же бакете. Не используйте одинаковый префикс для логов и других объектов в бакете, так как в этом случае логи и сторонние объекты могут перезаписать друг друга.

   • data_stream_destination — загружать логи в поток данных Yandex Data Streams:

     Замените блок storage_destination в шаблоне:

     data_stream_destination {
       database_id = "<идентификатор_базы_данных>"
       stream_name = "<имя_потока_данных>"
       codec       = "RAW"
     }
     
     • stream_name — имя потока данных, в который трейл будет сохранять аудитные логи.
     • database_id — идентификатор базы данных Yandex Managed Service for YDB, которая используется потоком данных Data Streams.
     • codec — метод сжатия событий при записи в поток данных Data Streams. Возможные значения: RAW (без сжатия, по умолчанию), GZIP, ZSTD. Включайте сжатие, если ожидается поток событий более 1 МБ/с.

   • filtering_policy — настройки политики фильтрации, которая определяет, какие события будут собираться и попадут в аудитные логи. Политика состоит из набора фильтров, которые относятся к разным уровням событий. Содержит блоки management_events_filter и data_events_filter.

     • management_events_filter — фильтр событий уровня конфигурации.

       • resource_scope — область сбора логов. Можно указать несколько блоков resource_scope для областей, которые принадлежат одной организации. Например, собирать логи из одного облака целиком, а из другого — только из определенных каталогов. Права сервисного аккаунта должны позволять сбор логов из указанных областей.

         • resource_id — идентификатор области сбора: организации, облака или каталога.

         • resource_type — тип области согласно указанному идентификатору:

           • organization-manager.organization — организация;
           • resource-manager.cloud — облако;
           • resource-manager.folder — каталог.

     • data_events_filter — фильтр событий уровня сервисов. Можно настроить несколько фильтров такого типа — по одному для каждого сервиса. Фильтр для одного сервиса имеет следующую структуру:

       • service — имя сервиса, в котором трейл будет обрабатывать события. Его можно получить в справочнике событий уровня сервисов.

       • resource_scope — места, откуда собирать события уровня сервисов. Этот блок настраивается аналогично фильтру событий уровня конфигурации.

       • included_events — полные имена событий для сбора. Вместо него можно указать excluded_events — полные имена событий для исключения. Эти параметры взаимоисключающие. Если оба не заданы, отбор не ограничивается именами событий.

         Используйте полное имя из поля event_type аудитного лога. Например, событию CreateIamToken из справочника соответствует yandex.cloud.audit.iam.CreateIamToken.

       • include_rule и exclude_rule — необязательные правила с условиями по значениям полей. Действуют вместе с выбором событий по именам.

   Подробнее о параметрах ресурса yandex_audit_trails_trail в документации провайдера.

2. (Опционально) Дополните фильтр условиями по значениям полей для нужного сервиса. Для этого в блоке filtering_policy.data_events_filter задайте правила include_rule, exclude_rule. Используйте провайдер Yandex Cloud версии 0.225.0 или выше. Примеры настройки фильтрации приведены в инструкции Создание трейла.

3. Создайте ресурсы:

   1. В терминале перейдите в директорию с конфигурационным файлом.

   2. Проверьте корректность конфигурации с помощью команды:

      terraform validate
      

      Если конфигурация является корректной, появится сообщение:

      Success! The configuration is valid.
      

   3. Выполните команду:

      terraform plan
      

      В терминале будет выведен список ресурсов с параметрами. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

   4. Примените изменения конфигурации:

      terraform apply
      

   5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

   Terraform создаст все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления или с помощью команды CLI:

   yc audit-trails trail get <имя_трейла>
   

1. Аутентифицируйтесь в API.

2. Подготовьте параметры трейла: каталог, объект назначения, сервисный аккаунт и политику фильтрации с нужными сервисами и областями сбора.

   Чтобы взять за основу настройки существующего трейла, получите их методом REST API get или вызовом gRPC API TrailService/Get.

3. (Опционально) Дополните фильтр условиями по значениям полей для нужного сервиса. Для этого в запросе REST API в элементе списка filteringPolicy.dataEventsFilters задайте правила includeRules, excludeRules. В gRPC API используйте filtering_policy.data_events_filters, include_rules и exclude_rules. Пример настройки фильтрации приведен в инструкции Создание трейла.

4. Создайте трейл методом REST API create для ресурса Trail или вызовом gRPC API TrailService/Create.

1. Опишите в конфигурационном файле Terraform параметры трейла:

   resource "yandex_audit_trails_trail" "basic_trail" {
     name               = "sample-trail-all-planes"
     folder_id          = "folder0***"
     service_account_id = "service0***"
   
     storage_destination {
       bucket_name = "sample-logs-bucket"
     }
   
     filtering_policy {
       management_events_filter {
         resource_scope {
           resource_id   = "org1***"
           resource_type = "organization-manager.organization"
         }
       }
   
       data_events_filter {
         service = "mdb.postgresql"
         excluded_events = [
           "yandex.cloud.audit.mdb.postgresql.CreateDatabase",
           "yandex.cloud.audit.mdb.postgresql.UpdateDatabase",
         ]
   
         resource_scope {
           resource_id   = "cloud1***"
           resource_type = "resource-manager.cloud"
         }
   
         resource_scope {
           resource_id   = "folder1***"
           resource_type = "resource-manager.folder"
         }
       }
   
       data_events_filter {
         service         = "iam"
         included_events = ["yandex.cloud.audit.iam.CreateIamToken"]
   
         resource_scope {
           resource_id   = "folder2***"
           resource_type = "resource-manager.folder"
         }
   
         exclude_rule {
           condition {
             field    = "$.details.credential.type"
             operator = "IN"
             values   = ["iam.session"]
           }
   
           condition {
             field    = "$.details.subject_name"
             operator = "IN"
             values   = ["user@example.com"]
           }
         }
       }
     }
   }
   

2. Примените конфигурацию:

   terraform apply
   

Воспользуйтесь методом REST API create для ресурса Trail.

Чтобы воспользоваться примерами, установите cURL.

Пример ниже разработан для выполнения в операционных системах MacOS и Linux. Чтобы выполнить его в системе Windows, ознакомьтесь с особенностями работы с Bash в Microsoft Windows.

1. Получите IAM-токен для аутентификации в API и запишите его в переменную окружения:

   export IAM_TOKEN=<iam-токен>
   

2. Подготовьте файл body.json с телом запроса:

   {
     "folderId": "folder0***",
     "name": "sample-trail-all-planes",
     "destination": {
       "objectStorage": {
         "bucketId": "sample-logs-bucket"
       }
     },
     "serviceAccountId": "service0***",
     "filteringPolicy": {
       "managementEventsFilter": {
         "resourceScopes": [
           {
             "id": "org1***",
             "type": "organization-manager.organization"
           }
         ]
       },
       "dataEventsFilters": [
         {
           "service": "mdb.postgresql",
           "resourceScopes": [
             {
               "id": "cloud1***",
               "type": "resource-manager.cloud"
             },
             {
               "id": "folder1***",
               "type": "resource-manager.folder"
             }
           ],
           "excludedEvents": {
             "eventTypes": [
               "yandex.cloud.audit.mdb.postgresql.CreateDatabase",
               "yandex.cloud.audit.mdb.postgresql.UpdateDatabase"
             ]
           }
         },
         {
           "service": "iam",
           "resourceScopes": [
             {
               "id": "folder2***",
               "type": "resource-manager.folder"
             }
           ],
           "includedEvents": {
             "eventTypes": [
               "yandex.cloud.audit.iam.CreateIamToken"
             ]
           },
           "excludeRules": [
             {
               "conditions": [
                 {
                   "field": "$.details.credential.type",
                   "operator": "IN",
                   "values": ["iam.session"]
                 },
                 {
                   "field": "$.details.subject_name",
                   "operator": "IN",
                   "values": ["user@example.com"]
                 }
               ]
             }
           ]
         }
       ]
     }
   }
   

3. Выполните запрос:

   curl \
     --request POST \
     --header "Authorization: Bearer ${IAM_TOKEN}" \
     --header "Content-Type: application/json" \
     --data "@body.json" \
     https://audittrails.api.cloud.yandex.net/audit-trails/v1/trails