Изменение настроек ClickHouse® на уровне сервера

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы задать настройки ClickHouse®:

1. Посмотрите полный список настроек, установленных для кластера:

   yc managed-clickhouse cluster get <имя_или_идентификатор_кластера> --full
   

2. Посмотрите описание команды CLI для изменения конфигурации кластера:

   yc managed-clickhouse cluster update-config --help
   

3. Установите нужные значения параметров:

   yc managed-clickhouse cluster update-config <имя_или_идентификатор_кластера> \
      --set <имя_параметра_1>=<значение_1>,...
   

Чтобы задать настройки ClickHouse®:

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. В описании кластера Managed Service for ClickHouse®, в блоке clickhouse.config, измените значения параметров:

   resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
     ...
     clickhouse {
       ...
   
       config {
         # Общие настройки СУБД
         ...
   
         merge_tree {
           # Настройки движка MergeTree
           ...
         }
   
         kafka {
           # Общие настройки получения данных из Apache Kafka
           ...
         }
   
         kafka_topic {
           # Настройки отдельного топика Apache Kafka
           ...
         }
   
         rabbit_mq {
           # Настройки получения данных из RabbitMQ
           username = "<имя_пользователя>"
           password = "<пароль>"
         }
   
         compression {
           # Настройки сжатия данных
           method              = "<метод_сжатия>"
           min_part_size       = <размер_куска_данных>
           min_part_size_ratio = <отношение_размеров>
         }
   
         graphite_rollup {
           # Настройки движка GraphiteMergeTree для прореживания, агрегирования и усреднения (rollup) данных Graphite.
           ...
         }
       }
       ...
     }
     ...
   }
   

   Где:

   • method — метод сжатия: LZ4 или ZSTD.
   • min_part_size — минимальный размер куска данных таблицы в байтах.
   • min_part_size_ratio — отношение размера наименьшего куска данных в таблице к полному размеру таблицы.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_clickhouse_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.Update и выполните запрос, например, с помощью cURL:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

   curl \
      --request PATCH \
      --header "Authorization: Bearer $IAM_TOKEN" \
      --header "Content-Type: application/json" \
      --url 'https://mdb.api.cloud.yandex.net/managed-clickhouse/v1/clusters/<идентификатор_кластера>' \
      --data '{
                 "updateMask": "configSpec.clickhouse.config.<настройка_1>,...,configSpec.clickhouse.config.<настройка_N>",
                 "configSpec": {
                    "clickhouse": {
                       "config": {
                          "<настройка_1>": "<значение_1>",
                          "<настройка_2>": "<значение_2>",
                          ...
                          "<настройка_N>": "<значение_N>"
                       }
                    }
                 }
              }'
   

   Где:

   • updateMask — перечень изменяемых параметров в одну строку через запятую.
   • configSpec.clickhouse.config — настройки ClickHouse® на уровне сервера. Возможные параметры и их значения см. в описании метода.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService.Update и выполните запрос, например, с помощью gRPCurl:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask (в виде массива строк paths[]).

   Формат перечисления настроек

   "update_mask": {
       "paths": [
           "<настройка_1>",
           "<настройка_2>",
           ...
           "<настройка_N>"
       ]
   }
   

   grpcurl \
      -format json \
      -import-path ~/cloudapi/ \
      -import-path ~/cloudapi/third_party/googleapis/ \
      -proto ~/cloudapi/yandex/cloud/mdb/clickhouse/v1/cluster_service.proto \
      -rpc-header "Authorization: Bearer $IAM_TOKEN" \
      -d '{
             "cluster_id": "<идентификатор_кластера>",
             "update_mask": {
                "paths": [
                   "configSpec.clickhouse.config.<настройка_1>",
                   "configSpec.clickhouse.config.<настройка_2>",
                   ...
                   "configSpec.clickhouse.config.<настройка_N>"
                ]
             },
             "config_spec": {
                "clickhouse": {
                   "config": {
                      "<настройка_1>": "<значение_1>",
                      "<настройка_2>": "<значение_2>",
                      ...
                      "<настройка_N>": "<значение_N>"
                   }
                }
             }
          }' \
      mdb.api.cloud.yandex.net:443 \
      yandex.cloud.mdb.clickhouse.v1.ClusterService.Update
   

   Где:

   • update_mask — перечень изменяемых параметров в виде массива строк paths[].
   • config_spec.clickhouse.config — настройки ClickHouse® на уровне сервера. Возможные параметры и их значения см. в описании метода.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.