Управление дисковым пространством в кластере Managed Service for Apache Kafka®

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы увеличить размер хранилища для хостов:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Чтобы изменить объем хранилища хостов-брокеров, выполните команду:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
      --disk-size <объем_хранилища>
   

   Если не указаны единицы размера, то используются гигабайты.

3. Чтобы изменить объем хранилища хостов ZooKeeper, выполните команду:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
      --zookeeper-disk-size <размер_диска>
   

   Если не указаны единицы размера, то используются гигабайты.

Тип диска для кластера Apache Kafka® нельзя изменить после создания.

Чтобы увеличить размер хранилища для кластера:

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значение параметра disk_size в блоках kafka.resources и zookeeper.resources для хостов Apache Kafka® и ZooKeeper соответственно:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     kafka {
       resources {
         disk_size = <размер_хранилища_ГБ>
         ...
       }
       ...
     }
     zookeeper {
       resources {
         disk_size = <размер_хранилища_ГБ>
         ...
       }
     }
   }
   

   Тип диска для кластера Apache Kafka® нельзя изменить после создания.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.update и выполните запрос, например, с помощью cURL:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

   curl \
       --request PATCH \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --header "Content-Type: application/json" \
       --url 'https://mdb.api.cloud.yandex.net/managed-kafka/v1/clusters/<идентификатор_кластера>' \
       --data '{
                 "updateMask": "configSpec.kafka.resources.diskSize,configSpec.zookeeper.resources.diskSize",
                 "configSpec": {
                   "kafka": {
                     "resources": {
                       "diskSize": "<размер_хранилища_байт>"
                     }
                   },
                   "zookeeper": {
                     "resources": {
                       "diskSize": "<размер_хранилища_байт>"
                     }
                   }
                 }
               }'
   

   Где:

   • updateMask — перечень изменяемых параметров в одну строку через запятую.

     Укажите нужные параметры:

     • configSpec.kafka.resources.diskSize — если нужно изменить размер хранилища хостов-брокеров.
     • configSpec.zookeeper.resources.diskSize — если нужно изменить размер хранилища хостов ZooKeeper. Применяется только для кластеров с версией Apache Kafka® 3.5.

   • configSpec.kafka.resources.diskSize – размер хранилища хостов-брокеров в байтах.

   • configSpec.zookeeper.resources.diskSize — размер хранилища хостов ZooKeeper в байтах. Применяется только для кластеров с версией Apache Kafka® 3.5.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/Update и выполните запрос, например, с помощью gRPCurl:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask (в виде массива строк paths[]).

   Формат перечисления настроек

   "update_mask": {
       "paths": [
           "<настройка_1>",
           "<настройка_2>",
           ...
           "<настройка_N>"
       ]
   }
   

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/kafka/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "cluster_id": "<идентификатор_кластера>",
             "update_mask": {
               "paths": [
                 "config_spec.kafka.resources.disk_size",
                 "config_spec.zookeeper.resources.disk_size"
               ]
             },
             "config_spec": {
               "kafka": {
                 "resources": {
                   "disk_size": "<размер_хранилища_байт>"
                 }
               },
               "zookeeper": {
                 "resources": {
                   "disk_size": "<размер_хранилища_байт>"
                 }
               }
             }
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.kafka.v1.ClusterService.Update
   

   Где:

   • update_mask — перечень изменяемых параметров в виде массива строк paths[].

     Укажите нужные параметры:

     • config_spec.kafka.resources.disk_size — если нужно изменить размер хранилища хостов-брокеров.
     • config_spec.brokers_count — если нужно изменить размер хранилища хостов ZooKeeper. Применяется только для кластеров с версией Apache Kafka® 3.5.

   • config_spec.kafka.resources.disk_size — размер хранилища хостов-брокеров в байтах.

   • config_spec.zookeeper.resources.disk_size — размер хранилища хостов ZooKeeper в байтах. Применяется только для кластеров с версией Apache Kafka® 3.5.

   Идентификатор кластера можно запросить со списком кластеров в каталоге. Список доступных классов хостов с их идентификаторами был получен ранее.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы настроить автоматическое увеличение размера хранилища:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Укажите максимальный размер хранилища и условия для его увеличения в команде изменения кластера:

   yc managed-kafka cluster update <идентификатор_или_имя_кластера> \
      --disk-size-autoscaling planned-usage-threshold=<процент_для_планового_увеличения>,`
                             `emergency-usage-threshold=<процент_для_незамедлительного_увеличения>,`
                             `disk-size-limit=<максимальный_размер_хранилища_в_байтах>
   

   Где:

   • planned-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно технического обслуживания.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

     Если вы задали этот параметр, настройте расписание технического обслуживания.

   • emergency-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned-usage-threshold.

   • disk-size-limit — максимальный размер хранилища в байтах, который может быть установлен при достижении одного из заданных процентов заполнения.

     Если указать значение 0, автоматическое увеличение размера хранилища будет отключено.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.update и выполните запрос, например, с помощью cURL:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

   curl \
       --request PATCH \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --header "Content-Type: application/json" \
       --url 'https://mdb.api.cloud.yandex.net/managed-kafka/v1/clusters/<идентификатор_кластера>' \
       --data '{
                 "updateMask": "configSpec.diskSizeAutoscaling.plannedUsageThreshold,configSpec.diskSizeAutoscaling.plannedUsageThreshold,configSpec.diskSizeAutoscaling.plannedUsageThreshold",
                 "configSpec": {
                   "diskSizeAutoscaling": {
                     "plannedUsageThreshold": "<процент_для_планового_увеличения>",
                     "emergencyUsageThreshold": "<процент_для_незамедлительного_увеличения>",
                     "diskSizeLimit": "<максимальный_размер_хранилища_в_байтах>"
                   }
                 }
               }'
   

   Где:

   • updateMask — перечень изменяемых параметров в одну строку через запятую.

     Укажите нужные параметры:

     • configSpec.diskSizeAutoscaling.plannedUsageThreshold — если нужно изменить процент заполнения хранилища для его планового увеличения.
     • configSpec.diskSizeAutoscaling.emergencyUsageThreshold — если нужно изменить процент заполнения хранилища для его внепланового увеличения.
     • configSpec.diskSizeAutoscaling.diskSizeLimit — если нужно изменить максимальный размер хранилища при его автоматическом расширении.

   • plannedUsageThreshold – процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

     Если вы задали этот параметр, настройте расписание окна технического обслуживания.

   • emergencyUsageThreshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения plannedUsageThreshold.

   • diskSizeLimit – максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/Update и выполните запрос, например, с помощью gRPCurl:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask (в виде массива строк paths[]).

   Формат перечисления настроек

   "update_mask": {
       "paths": [
           "<настройка_1>",
           "<настройка_2>",
           ...
           "<настройка_N>"
       ]
   }
   

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/kafka/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
             "cluster_id": "<идентификатор_кластера>",
             "update_mask": {
               "paths": [
                 "config_spec.disk_size_autoscaling.planned_usage_threshold",
                 "config_spec.disk_size_autoscaling.emergency_usage_threshold",
                 "config_spec.disk_size_autoscaling.disk_size_limit"
               ]
             },
             "config_spec": {
               "disk_size_autoscaling": {
                   "planned_usage_threshold": "<процент_для_планового_увеличения>",
                   "emergency_usage_threshold": "<процент_для_незамедлительного_увеличения>",
                   "disk_size_limit": "<максимальный_размер_хранилища_в_байтах>"
               }
             }
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.kafka.v1.ClusterService.Update
   

   Где:

   • update_mask — перечень изменяемых параметров в виде массива строк paths[].

     Укажите нужные параметры:

     • config_spec.disk_size_autoscaling.planned_usage_threshold — если нужно изменить процент заполнения хранилища для его планового увеличения.
     • config_spec.disk_size_autoscaling.emergency_usage_threshold — если нужно изменить процент заполнения хранилища для его внепланового увеличения.
     • config_spec.disk_size_autoscaling.disk_size_limit — если нужно изменить максимальный размер хранилища при его автоматическом расширении.

   • planned_usage_threshold – процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

     Если вы задали этот параметр, настройте расписание окна технического обслуживания.

   • emergency_usage_threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned_usage_threshold.

   • disk_size_limit – максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

   Идентификатор кластера можно запросить со списком кластеров в каталоге. Список доступных классов хостов с их идентификаторами был получен ранее.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.