Управление дисковым пространством в кластере Managed Service for Apache Kafka®

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы увеличить размер хранилища для хостов:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Чтобы изменить объем хранилища хостов-брокеров, выполните команду:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
      --disk-size <объем_хранилища>
   

   Если не указаны единицы размера, то используются гигабайты.

3. Чтобы изменить объем хранилища хостов ZooKeeper, выполните команду:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
      --zookeeper-disk-size <размер_диска>
   

   Если не указаны единицы размера, то используются гигабайты.

Тип диска для кластера Apache Kafka® нельзя изменить после создания.

Чтобы увеличить размер хранилища для кластера:

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значение параметра disk_size в блоках kafka.resources и zookeeper.resources для хостов Apache Kafka® и ZooKeeper соответственно:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     kafka {
       resources {
         disk_size = <размер_хранилища_ГБ>
         ...
       }
       ...
     }
     zookeeper {
       resources {
         disk_size = <размер_хранилища_ГБ>
         ...
       }
     }
   }
   

   Тип диска для кластера Apache Kafka® нельзя изменить после создания.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы увеличить размер хранилища для кластера, воспользуйтесь методом REST API update для ресурса Cluster или вызовом gRPC API ClusterService/Update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Новые настройки хранилища в параметре configSpec.kafka.resources (configSpec.zookeeper.resources — для хостов ZooKeeper).
• Список настроек, которые необходимо изменить, в параметре updateMask.

Тип диска для кластера Apache Kafka® нельзя изменить после создания.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы настроить автоматическое увеличение размера хранилища:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Укажите максимальный размер хранилища и условия для его увеличения в команде изменения кластера:

   yc managed-kafka cluster update <идентификатор_или_имя_кластера> \
      --disk-size-autoscaling planned-usage-threshold=<процент_для_планового_увеличения>,`
                             `emergency-usage-threshold=<процент_для_незамедлительного_увеличения>,`
                             `disk-size-limit=<максимальный_размер_хранилища_в_байтах>
   

   Где:

   • planned-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно технического обслуживания.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

     Если вы задали этот параметр, настройте расписание технического обслуживания.

   • emergency-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned-usage-threshold.

   • disk-size-limit — максимальный размер хранилища в байтах, который может быть установлен при достижении одного из заданных процентов заполнения.

     Если указать значение 0, автоматическое увеличение размера хранилища будет отключено.

Чтобы разрешить автоматическое увеличение размера хранилища, воспользуйтесь методом REST API update для ресурса Cluster или вызовом gRPC API ClusterService/Update и передайте в запросе:

• Процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания, в параметре configSpec.diskSizeAutoscaling.plannedUsageThreshold.

  Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

  Если вы задали этот параметр, настройте расписание окна технического обслуживания.

• Процент заполнения хранилища, при котором хранилище будет увеличено немедленно, в параметре configSpec.diskSizeAutoscaling.emergencyUsageThreshold.

  Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения configSpec.diskSizeAutoscaling.plannedUsageThreshold.

• Максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения, в параметре configSpec.diskSizeAutoscaling.diskSizeLimit.