Анализ логов Object Storage при помощи DataLens

1. Если у вас еще нет AWS CLI, установите и сконфигурируйте его.

2. Создайте бакет:

   aws --endpoint-url https://storage.yandexcloud.net \
     s3 mb s3://<имя_бакета>
   

   Результат:

   make_bucket: <имя_бакета>
   

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

1. Опишите в конфигурационном файле параметры для создания сервисного аккаунта и ключа доступа:

   ...
   // Создание сервисного аккаунта
   resource "yandex_iam_service_account" "sa" {
     name = "<имя_сервисного_аккаунта>"
   }
   
   // Назначение роли сервисному аккаунту
   resource "yandex_resourcemanager_folder_iam_member" "sa-admin" {
     folder_id = "<идентификатор_каталога>"
     role      = "storage.admin"
     member    = "serviceAccount:${yandex_iam_service_account.sa.id}"
   }
   
   // Создание статического ключа доступа
   resource "yandex_iam_service_account_static_access_key" "sa-static-key" {
     service_account_id = yandex_iam_service_account.sa.id
     description        = "static access key for object storage"
   }
   

2. Добавьте в конфигурационный файл параметры бакета:

   resource "yandex_storage_bucket" "bucket-logs" {
     access_key = yandex_iam_service_account_static_access_key.sa-static-key.access_key
     secret_key = yandex_iam_service_account_static_access_key.sa-static-key.secret_key
     bucket     = "<имя_бакета>"
   }
   

   Подробнее о ресурсе yandex_storage_bucket см. в документации провайдера Terraform.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Создайте бакет.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Используйте метод REST API create.

1. Создайте файл log-config.json со следующим содержимым:

   {
    "LoggingEnabled": {
       "TargetBucket": "<имя_бакета>",
       "TargetPrefix": "s3-logs/"
    }
   }
   

2. Выполните команду:

   aws s3api put-bucket-logging \
     --endpoint-url https://storage.yandexcloud.net \
     --bucket <имя_бакета> \
     --bucket-logging-status file://log-config.json
   

   Где --bucket — имя бакета, для которого надо включить логирование действий.

Чтобы включить механизм логирования в бакете, который вы хотите отслеживать:

1. Откройте файл конфигурации Terraform и добавьте блок logging во фрагмент с описанием бакета.

   resource "yandex_storage_bucket" "bucket-logs" {
     access_key = "<идентификатор_статического_ключа>"
     secret_key = "<секретный_ключ>"
     bucket     = "<имя_бакета_для_хранения_логов>"
   }
   
   resource "yandex_storage_bucket" "bucket" {
     access_key = "<идентификатор_статического_ключа>"
     secret_key = "<секретный_ключ>"
     bucket     = "<имя_исходного_бакета>"
     acl        = "private"
   
     logging {
       target_bucket = yandex_storage_bucket.bucket-logs.id
       target_prefix = "s3-logs/"
     }
   }
   

   Где:

   • access_key — идентификатор статического ключа доступа.
   • secret_key — значение секретного ключа доступа.
   • target_bucket — указание на бакет для хранения логов.
   • target_prefix — префикс ключа для объектов с логами.

   Более подробную информацию о параметрах ресурса yandex_storage_bucket в Terraform см. в документации провайдера.

   1. В терминале перейдите в папку, где вы отредактировали конфигурационный файл.

   2. Проверьте корректность конфигурационного файла с помощью команды:

      terraform validate
      

      Если конфигурация является корректной, появится сообщение:

      Success! The configuration is valid.
      

   3. Выполните команду:

      terraform plan
      

      В терминале будет выведен список ресурсов с параметрами. На этом этапе изменения не будут внесены. Если в конфигурации есть ошибки, Terraform на них укажет.

   4. Примените изменения конфигурации:

      terraform apply
      

   5. Подтвердите изменения: введите в терминале слово yes и нажмите Enter.

   После этого в указанном каталоге будут созданы все требуемые ресурсы. Проверить появление ресурсов и их настройки можно в консоли управления.

Используйте метод REST API putBucketLogging.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер:

1. Проверьте, есть ли в каталоге подсети для хостов кластера:

   yc vpc subnet list
   

   Если ни одной подсети в каталоге нет, создайте нужные подсети в сервисе VPC.

2. Укажите параметры кластера в команде создания:

   yc managed-clickhouse cluster create \
      --name s3-logs \
      --environment production \
      --network-name <имя_сети> \
      --host type=clickhouse,zone-id=<зона_доступности>,subnet-id=<идентификатор_подсети> \
      --clickhouse-resource-preset b2.medium \
      --clickhouse-disk-type network-ssd \
      --clickhouse-disk-size 10 \
      --user name=user,password=<пароль_пользователя> \
      --database name=s3_data \
      --datalens-access=true \
      --websql-access=true
   

1. Добавьте в конфигурационный файл описание кластера и его хостов:

   resource "yandex_mdb_clickhouse_cluster" "s3-logs" {
     name                = "s3-logs"
     environment         = "PRODUCTION"
     network_id          = yandex_vpc_network.<имя_сети_в_Terraform>.id
   
     clickhouse {
       resources {
         resource_preset_id = "b2.medium"
         disk_type_id       = "network-ssd"
         disk_size          = 10
       }
     }
   
     database {
       name = "s3_data"
     }
   
     user {
       name     = "user"
       password = "<пароль>"
       permission {
         database_name = "s3_data"
       }
     }
   
     host {
       type      = "CLICKHOUSE"
       zone      = "<зона_доступности>"
       subnet_id = yandex_vpc_subnet.<имя_подсети_в_Terraform>.id
     }
   
     access {
       datalens  = true
       web_sql   = true
     }
   }
   

   Более подробную информацию о ресурсах, которые вы можете создать с помощью Terraform, см. в документации провайдера.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер:

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Используйте метод REST API create.