Работа с гибридным хранилищем

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Чтобы создать кластер с включенным гибридным хранилищем и (опционально) задать его настройки:

1. Посмотрите описание команды CLI для создания кластера:

   yc managed-clickhouse cluster create --help
   

2. Выполните команду с указанием настроек гибридного хранилища:

   yc managed-clickhouse cluster create \
      ...
      --cloud-storage=true \
      --cloud-storage-data-cache=<кешировать_данные> \
      --cloud-storage-data-cache-max-size=<максимальный_объем_памяти_в_байтах> \
      --cloud-storage-move-factor=<доля_свободного_места> \
      --cloud-storage-prefer-not-to-merge=<отключить_слияние_кусков_данных>
     ...
   

   Где:

   • --cloud-storage — включает гибридное хранилище.

   • --cloud-storage-data-cache — разрешает временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

   • --cloud-storage-data-cache-max-size — определяет максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

   • --cloud-storage-move-factor — устанавливает минимальную долю свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в Yandex Object Storage. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

     Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

   • --cloud-storage-prefer-not-to-merge — отключает слияние кусков данных в кластерном и объектном хранилищах. Чтобы отключить слияние, укажите значение true или передайте параметр без значения. Чтобы оставить слияние включенным, укажите значение false или не передавайте параметр в команде CLI при создании кластера.

     После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

   Подробнее о других параметрах команды yc managed-clickhouse cluster create читайте в инструкции по созданию кластера.

1. Создайте конфигурационный файл Terraform с планом инфраструктуры.

2. Добавьте в конфигурационный файл блок cloud_storage:

   resource "yandex_mdb_clickhouse_cluster_v2" "<имя_кластера>" {
     ...
     cloud_storage = {
       enabled             = true
       move_factor         = <доля_свободного_места>
       data_cache_enabled  = <кешировать_данные>
       data_cache_max_size = <максимальный_объем_памяти_в_байтах>
       prefer_not_to_merge = <отключить_слияние_кусков_данных>
     }
   }
   

   Где:

   • enabled — включает гибридное хранилище.

   • move_factor — минимальная доля свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в объектное хранилище. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

     Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

   • data_cache_enabled — разрешить временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища: true или false. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

   • data_cache_max_size — максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

   • prefer_not_to_merge — отключить слияние кусков данных в кластерном и объектном хранилищах: true или false. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false.

     После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

3. Проверьте корректность файла конфигурации Terraform:

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Создайте кластер:

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

resource "yandex_mdb_clickhouse_cluster_v2" "<имя_кластера>" {
  ...
  timeouts = {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.Create и выполните запрос, например с помощью cURL:

   1. Создайте файл body.json и добавьте в него следующее содержимое:

      {
        <Параметры_кластера>
        ...
        "configSpec": {
          "cloudStorage": {
            "enabled": true,
            "moveFactor": "<доля_свободного_места>",
            "dataCacheEnabled": <кешировать_данные>,
            "dataCacheMaxSize": "<максимальный_объем_памяти_в_байтах>",
            "preferNotToMerge": <отключить_слияние_кусков_данных>
          },
          ...
        }
      }
      

      Где:

      • enabled — включает гибридное хранилище.

      • moveFactor — минимальная доля свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в объектное хранилище. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

        Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

      • dataCacheEnabled — разрешить временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища: true или false. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

      • dataCacheMaxSize — максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

      • preferNotToMerge — отключить слияние кусков данных в кластерном и объектном хранилищах: true или false. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false.

        После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

      Подробнее о других параметрах читайте в инструкции по созданию кластера.

   2. Выполните запрос:

      curl \
        --request POST \
        --header "Authorization: Bearer $IAM_TOKEN" \
        --header "Content-Type: application/json" \
        --url 'https://mdb.api.yandexcloud.kz/managed-clickhouse/v1/clusters' \
        --data '@body.json'
      

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService.Create и выполните запрос, например с помощью gRPCurl:

   1. Создайте файл body.json и добавьте в него следующее содержимое:

      {
        <Параметры_кластера>
        ...
        "config_spec": {
          "cloud_storage": {
            "enabled": true,
            "move_factor": "<доля_свободного_места>",
            "data_cache_enabled": <кешировать_данные>,
            "data_cache_max_size": "<максимальный_объем_памяти_в_байтах>",
            "prefer_not_to_merge": <отключить_слияние_кусков_данных>
          },
          ...
        }
      }
      

      Где:

      • enabled — включает гибридное хранилище.

      • move_factor — минимальная доля свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в объектное хранилище. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

        Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

      • data_cache_enabled — разрешить временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища: true или false. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

      • data_cache_max_size — максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

      • prefer_not_to_merge — отключить слияние кусков данных в кластерном и объектном хранилищах: true или false. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false.

        После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

      Подробнее о других параметрах читайте в инструкции по созданию кластера.

   2. Выполните запрос:

      grpcurl \
        -format json \
        -import-path ~/cloudapi/ \
        -import-path ~/cloudapi/third_party/googleapis/ \
        -proto ~/cloudapi/yandex/cloud/mdb/clickhouse/v1/cluster_service.proto \
        -rpc-header "Authorization: Bearer $IAM_TOKEN" \
        -d @ \
        mdb.api.yandexcloud.kz:443 \
        yandex.cloud.mdb.clickhouse.v1.ClusterService.Create \
        < body.json
      

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Чтобы включить в кластере гибридное хранилище и (опционально) задать его настройки, выполните команду:

yc managed-clickhouse cluster update <имя_или_идентификатор_кластера> \
   --cloud-storage=true \
   --cloud-storage-data-cache=<кешировать_данные> \
   --cloud-storage-data-cache-max-size=<максимальный_объем_памяти_в_байтах> \
   --cloud-storage-move-factor=<доля_свободного_места> \
   --cloud-storage-prefer-not-to-merge=<отключить_слияние_кусков_данных>

Где:

• <имя_или_идентификатор_кластера> — имя или идентификатор кластера, которые можно получить со списком кластеров в каталоге.
• --cloud-storage — включает гибридное хранилище.

• --cloud-storage-data-cache — разрешает временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

• --cloud-storage-data-cache-max-size — определяет максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

• --cloud-storage-move-factor — устанавливает минимальную долю свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в Yandex Object Storage. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

  Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

• --cloud-storage-prefer-not-to-merge — отключает слияние кусков данных в кластерном и объектном хранилищах. Чтобы отключить слияние, укажите значение true или передайте параметр без значения. Чтобы оставить слияние включенным, укажите значение false или не передавайте параметр в команде CLI при создании кластера.

  После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

Чтобы включить в кластере гибридное хранилище и (опционально) задать его настройки:

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   Инструкция по созданию такого файла приведена в разделе Создание кластера.

   Полный список доступных для изменения полей конфигурации кластера Managed Service for ClickHouse® приведен в документации провайдера Terraform.

2. Добавьте в описание кластера Managed Service for ClickHouse® блок cloud_storage:

   resource "yandex_mdb_clickhouse_cluster_v2" "<имя_кластера>" {
     ...
     cloud_storage = {
       enabled             = true
       move_factor         = <доля_свободного_места>
       data_cache_enabled  = <кешировать_данные>
       data_cache_max_size = <максимальный_объем_памяти_в_байтах>
       prefer_not_to_merge = <отключить_слияние_кусков_данных>
     }
   }
   

   Где:

   • enabled — включает гибридное хранилище.

   • move_factor — минимальная доля свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в объектное хранилище. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

     Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

   • data_cache_enabled — разрешить временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища: true или false. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

   • data_cache_max_size — максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

   • prefer_not_to_merge — отключить слияние кусков данных в кластерном и объектном хранилищах: true или false. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false.

     После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

3. Проверьте корректность файла конфигурации Terraform:

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов:

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

resource "yandex_mdb_clickhouse_cluster_v2" "<имя_кластера>" {
  ...
  timeouts = {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.Update и выполните запрос, например с помощью cURL:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

   curl \
       --request PATCH \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --header "Content-Type: application/json" \
       --url 'https://mdb.api.yandexcloud.kz/managed-clickhouse/v1/clusters/<идентификатор_кластера>' \
       --data '{
                 "updateMask": "<перечень_изменяемых_настроек>",
                 "configSpec": {
                   "cloudStorage": {
                     "enabled": true,
                     "moveFactor": "<доля_свободного_места>",
                     "dataCacheEnabled": <кешировать_данные>,
                     "dataCacheMaxSize": "<максимальный_объем_памяти_в_байтах>",
                     "preferNotToMerge": <отключить_слияние_кусков_данных>
                   }
                 }
               }'
   

   Где:

   • <идентификатор_кластера> — идентификатор кластера, который можно получить со списком кластеров в каталоге.

   • updateMask — перечень изменяемых параметров в одну строку через запятую.

   • configSpec.cloudStorage — настройки гибридного хранилища:

     • enabled — включает гибридное хранилище.

     • moveFactor — минимальная доля свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в объектное хранилище. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

       Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

     • dataCacheEnabled — разрешить временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища: true или false. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

     • dataCacheMaxSize — максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

     • preferNotToMerge — отключить слияние кусков данных в кластерном и объектном хранилищах: true или false. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false.

       После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService.Update и выполните запрос, например с помощью gRPCurl:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask (в виде массива строк paths[]).

   Формат перечисления настроек

   "update_mask": {
       "paths": [
           "<настройка_1>",
           "<настройка_2>",
           ...
           "<настройка_N>"
       ]
   }
   

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/clickhouse/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "cluster_id": "<идентификатор_кластера>",
             "update_mask": {
               "paths": [
                 <перечень_изменяемых_настроек>
               ]
             },
             "config_spec": {
               "cloud_storage": {
                 "enabled": true,
                 "move_factor": "<доля_свободного_места>",
                 "data_cache_enabled": <кешировать_данные>,
                 "data_cache_max_size": "<максимальный_объем_памяти_в_байтах>",
                 "prefer_not_to_merge": <отключить_слияние_кусков_данных>
               }
             }
           }' \
       mdb.api.yandexcloud.kz:443 \
       yandex.cloud.mdb.clickhouse.v1.ClusterService.Update
   

   Где:

   • <идентификатор_кластера> — идентификатор кластера, который можно получить со списком кластеров в каталоге.

   • update_mask — перечень изменяемых параметров в виде массива строк paths[].

   • config_spec.cloud_storage — настройки гибридного хранилища:

     • enabled — включает гибридное хранилище.

     • move_factor — минимальная доля свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в объектное хранилище. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

       Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

     • data_cache_enabled — разрешить временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища: true или false. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

     • data_cache_max_size — максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

     • prefer_not_to_merge — отключить слияние кусков данных в кластерном и объектном хранилищах: true или false. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false.

       После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Чтобы изменить настройки гибридного хранилища, выполните команду:

yc managed-clickhouse cluster update <имя_или_идентификатор_кластера> \
    --cloud-storage-data-cache=<кешировать_данные> \
    --cloud-storage-data-cache-max-size=<максимальный_объем_памяти_в_байтах> \
    --cloud-storage-move-factor=<доля_свободного_места> \
    --cloud-storage-prefer-not-to-merge=<отключить_слияние_кусков_данных>

Где:

• <имя_или_идентификатор_кластера> — имя или идентификатор кластера, которые можно получить со списком кластеров в каталоге.

• --cloud-storage-data-cache — разрешает временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

• --cloud-storage-data-cache-max-size — определяет максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

• --cloud-storage-move-factor — устанавливает минимальную долю свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в Yandex Object Storage. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

  Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

• --cloud-storage-prefer-not-to-merge — отключает слияние кусков данных в кластерном и объектном хранилищах. Чтобы отключить слияние, укажите значение true или передайте параметр без значения. Чтобы оставить слияние включенным, укажите значение false или не передавайте параметр в команде CLI при создании кластера.

  После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   Инструкция по созданию такого файла приведена в разделе Создание кластера.

   Полный список доступных для изменения полей конфигурации кластера Managed Service for ClickHouse® приведен в документации провайдера Terraform.

2. Измените в описании кластера Managed Service for ClickHouse® атрибуты блока cloud_storage:

   resource "yandex_mdb_clickhouse_cluster_v2" "<имя_кластера>" {
     ...
     cloud_storage = {
       ...
       move_factor         = <доля_свободного_места>
       data_cache_enabled  = <кешировать_данные>
       data_cache_max_size = <максимальный_объем_памяти_в_байтах>
       prefer_not_to_merge = <отключить_слияние_кусков_данных>
     }
   }
   

   Где:

   • move_factor — минимальная доля свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в объектное хранилище. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

     Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

   • data_cache_enabled — разрешить временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища: true или false. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

   • data_cache_max_size — максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

   • prefer_not_to_merge — отключить слияние кусков данных в кластерном и объектном хранилищах: true или false. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false.

     После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

3. Проверьте корректность файла конфигурации Terraform:

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов:

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

resource "yandex_mdb_clickhouse_cluster_v2" "<имя_кластера>" {
  ...
  timeouts = {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.Update и выполните запрос, например с помощью cURL:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

   curl \
       --request PATCH \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --header "Content-Type: application/json" \
       --url 'https://mdb.api.yandexcloud.kz/managed-clickhouse/v1/clusters/<идентификатор_кластера>' \
       --data '{
                 "updateMask": "<перечень_изменяемых_настроек>",
                 "configSpec": {
                   "cloudStorage": {
                     "moveFactor": "<доля_свободного_места>",
                     "dataCacheEnabled": <кешировать_данные>,
                     "dataCacheMaxSize": "<максимальный_объем_памяти_в_байтах>",
                     "preferNotToMerge": <отключить_слияние_кусков_данных>
                   }
                 }
               }'
   

   Где:

   • <идентификатор_кластера> — идентификатор кластера, который можно получить со списком кластеров в каталоге.

   • updateMask — перечень изменяемых параметров в одну строку через запятую.

   • configSpec.cloudStorage — настройки гибридного хранилища:

     • moveFactor — минимальная доля свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в объектное хранилище. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

       Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

     • dataCacheEnabled — разрешить временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища: true или false. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

     • dataCacheMaxSize — максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

     • preferNotToMerge — отключить слияние кусков данных в кластерном и объектном хранилищах: true или false. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false.

       После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService.Update и выполните запрос, например с помощью gRPCurl:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask (в виде массива строк paths[]).

   Формат перечисления настроек

   "update_mask": {
       "paths": [
           "<настройка_1>",
           "<настройка_2>",
           ...
           "<настройка_N>"
       ]
   }
   

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/clickhouse/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "cluster_id": "<идентификатор_кластера>",
             "update_mask": {
               "paths": [
                 <перечень_изменяемых_настроек>
               ]
             },
             "config_spec": {
               "cloud_storage": {
                 "move_factor": "<доля_свободного_места>",
                 "data_cache_enabled": <кешировать_данные>,
                 "data_cache_max_size": "<максимальный_объем_памяти_в_байтах>",
                 "prefer_not_to_merge": <отключить_слияние_кусков_данных>
               }
             }
           }' \
       mdb.api.yandexcloud.kz:443 \
       yandex.cloud.mdb.clickhouse.v1.ClusterService.Update
   

   Где:

   • <идентификатор_кластера> — идентификатор кластера, который можно получить со списком кластеров в каталоге.

   • update_mask — перечень изменяемых параметров в виде массива строк paths[].

   • config_spec.cloud_storage — настройки гибридного хранилища:

     • move_factor — минимальная доля свободного места в кластерном хранилище. Если доля свободного места меньше этого значения, данные переносятся в объектное хранилище. Минимальное значение — 0, максимальное — 1, по умолчанию — 0.01.

       Куски данных для переноса выстраиваются в очередь от большего к меньшему, затем переносится такое количество кусков, при котором будет выполняться условие для указанной минимальной доли свободного места в кластерном хранилище.

     • data_cache_enabled — разрешить временное хранение в кластерном хранилище данных, запрошенных из объектного хранилища: true или false. В результате запрашиваемые из объектного хранилища холодные данные попадают на быстрые диски, где их обработка будет быстрее. Значение по умолчанию — true (разрешено).

     • data_cache_max_size — максимальный объем памяти (в байтах), выделяемый в кластерном хранилище для временного хранения данных, запрошенных из объектного хранилища. Если значение параметра не задано, максимальный объем памяти по умолчанию равен половине объема кластерного хранилища.

     • prefer_not_to_merge — отключить слияние кусков данных в кластерном и объектном хранилищах: true или false. Чтобы отключить слияние, укажите значение true. Чтобы оставить слияние включенным, укажите значение false.

       После вставки данных в таблицу они сохраняются в виде куска данных и сортируются по первичному ключу. Затем в фоновом режиме куски одной партиции сливаются в более крупный кусок через 10–15 минут после вставки. Вы можете использовать системную таблицу system.parts, чтобы посмотреть слитые куски данных и партиции.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.