Изменение настроек кластера Apache Kafka®

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить имя и описание кластера:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Укажите новые имя и описание в команде изменения кластера:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
     --new-name <новое_имя_кластера> \
     --description <новое_описание_кластера>
   

   Чтобы узнать имя или идентификатор кластера, получите список кластеров в каталоге.

Чтобы изменить описание кластера:

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   Как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значение параметра description:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     name        = "<имя_кластера>"
     description = "<новое_описание_кластера>"
     ...
   }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_redis_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы изменить дополнительные настройки кластера, воспользуйтесь методом REST API update для ресурса Cluster или вызовом gRPC API ClusterService/Update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор кластера, получите список кластеров в каталоге.
• Новое имя кластера в параметре name.
• Новое описание кластера в параметре description.
• Список полей, которые необходимо изменить (в данном случае — name и description), в параметре updateMask.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить класс и количество хостов:

1. Получите информацию о кластере:

   yc managed-kafka cluster list
   yc managed-kafka cluster get <имя_или_идентификатор_кластера>
   

2. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

3. Чтобы увеличить количество хостов-брокеров, выполните команду:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> --brokers-count <число>
   

4. Чтобы изменить класс хоста-брокера, выполните команду:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> --resource-preset <класс_хоста>
   

Чтобы узнать имя или идентификатор кластера, получите список кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   Как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значение параметра brokers_count, чтобы увеличить количество хостов-брокеров:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     config {
       brokers_count = <количество_хостов-брокеров>
       ...
     }
     ...
   }
   

3. Измените в описании кластера Managed Service for Apache Kafka® значение параметра resource_preset_id в блоке kafka.resources, чтобы задать новый класс хостов-брокеров:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     kafka {
       resources {
         resource_preset_id = "<класс_хостов-брокеров>"
         ...
       }
     }
   }
   

4. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

5. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы изменить класс и количество хостов-брокеров, воспользуйтесь методом REST API update для ресурса Cluster или вызовом gRPC API ClusterService/Update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Класс хостов-брокеров в параметре configSpec.kafka.resources.resourcePresetId.
• Количество хостов-брокеров в параметре configSpec.brokersCount.
• Список настроек, которые необходимо изменить, в параметре updateMask.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить класс хостов ZooKeeper:

1. Получите информацию о кластере:

   yc managed-kafka cluster list
   yc managed-kafka cluster get <имя_или_идентификатор_кластера>
   

2. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

3. Чтобы изменить класс хостов ZooKeeper, выполните команду:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
     --zookeeper-resource-preset <класс_хоста>
   

Чтобы узнать имя или идентификатор кластера, получите список кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   Как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значение параметра resource_preset_id в блоке zookeeper.resources, чтобы задать новый класс хостов ZooKeeper:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     zookeeper {
       resources {
         resource_preset_id = "<класс_хостов_ZooKeeper>"
         ...
       }
     }
    }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы изменить класс хостов ZooKeeper, воспользуйтесь методом REST API update для ресурса Cluster или вызовом gRPC API ClusterService/Update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Класс хостов ZooKeeper в параметре configSpec.zookeeper.resources.resourcePresetId.
• Список настроек, которые необходимо изменить, в параметре updateMask.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить список групп безопасности для кластера:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Укажите нужные группы безопасности и настройку публичного доступа в команде изменения кластера:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
      --security-group-ids <список_групп_безопасности> \
      --assign-public-ip=<публичный_доступ>
   

   Где:

   • --security-group-ids — список идентификаторов групп безопасности кластера.
   • --assign-public-ip — публичный доступ к кластеру: true или false.

   Чтобы узнать имя или идентификатор кластера, получите список кластеров в каталоге.

Перезагрузите кластер, чтобы изменение настройки публичного доступа вступило в силу.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   Как создать такой файл, см. в разделе Создание кластера.

2. Измените значения параметров security_group_ids и assign_public_ip в описании кластера:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     security_group_ids = [ <список_групп_безопасности> ]
     ...
     config {
       assign_public_ip = "<публичный_доступ>"
       ...
       }
   }
   

   Где:

   • security_group_ids — список идентификаторов групп безопасности кластера.
   • assign_public_ip — публичный доступ к кластеру: true или false.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Перезагрузите кластер, чтобы изменение настройки публичного доступа вступило в силу.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы изменить настройки групп безопасности и публичного доступа, воспользуйтесь методом REST API update для ресурса Cluster или вызовом gRPC API ClusterService/Update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Список идентификаторов групп безопасности в параметре securityGroupIds.
• Значение настройки публичного доступа в параметре configSpec.assignPublicIp.
• Список настроек, которые необходимо изменить, в параметре updateMask.

Перезагрузите кластер, чтобы изменение настройки публичного доступа вступило в силу.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить дополнительные настройки кластера:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-kafka cluster update --help
   

2. Выполните команду, передав список настроек, которые хотите изменить:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
      --maintenance-window type=<тип_технического_обслуживания>,`
                          `day=<день_недели>,`
                          `hour=<час_дня> \
      --deletion-protection \
      --schema-registry=<управление_схемами_данных>
   

Вы можете изменить следующие настройки:

• --maintenance-window — настройки времени технического обслуживания (в т. ч. для выключенных кластеров), где type — тип технического обслуживания:

  • anytime (по умолчанию) — в любое время.
  • weekly — по расписанию. При задании этого значения укажите день недели и час дня:
    • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.
    • hour — час дня по UTC в формате HH: от 1 до 24.

• --deletion-protection — защита кластера, его баз данных и пользователей от непреднамеренного удаления.

  Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

• --schema-registry – включите эту опцию, чтобы управлять схемами данных с помощью Managed Schema Registry.

  Важно

  Настройку Реестр схем данных невозможно отключить после ее включения.

Чтобы узнать имя или идентификатор кластера, получите список кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   Как создать такой файл, см. в разделе Создание кластера.

2. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     maintenance_window {
       type = <тип_технического_обслуживания>
       day  = <день_недели>
       hour = <час_дня>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания. Принимает значения:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY в формате DDD. Например, MON.
   • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

3. Чтобы включить защиту кластера от непреднамеренного удаления пользователем вашего облака, добавьте к описанию кластера поле deletion_protection со значением true:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     deletion_protection = <защита_от_удаления>
   }
   

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

4. Чтобы включить управление схемами данных с помощью Managed Schema Registry, добавьте к описанию кластера поле config.schema_registry со значением true:

   resource "yandex_mdb_kafka_cluster" "<имя кластера>" {
     ...
     config {
       ...
       schema_registry  = <управление_схемами_данных>
     }
   }
   

   Важно

   Настройку Реестр схем данных невозможно отключить после ее включения.

5. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

6. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы изменить дополнительные настройки кластера, воспользуйтесь методом REST API update для ресурса Cluster или вызовом gRPC API ClusterService/Update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.

• Настройки времени технического обслуживания (в т. ч. для выключенных кластеров) в параметре maintenanceWindow.

• Настройки защиты от удаления кластера в параметре deletionProtection.

  Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

• Настройки управления схемами данных с помощью Managed Schema Registry в параметре configSpec.schemaRegistry.

  Важно

  Настройку Реестр схем данных невозможно отключить после ее включения.

• Список изменяемых полей конфигурации кластера в параметре updateMask.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить настройки Apache Kafka®:

1. Посмотрите описание команды CLI для изменения настроек кластера:

   yc managed-kafka cluster update --help
   

2. Измените настройки Apache Kafka® в команде изменения кластера (в примере приведены не все настройки):

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
      --compression-type <тип_сжатия> \
      --log-flush-interval-messages <количество_сообщений_в_логе> \
      --log-flush-interval-ms <максимальное_время_хранения_сообщений>
   

   Где:

   • --log-flush-interval-messages — количество сообщений в логе, необходимое для их сброса на диск.
   • --log-flush-interval-ms — максимальное время хранения сообщений в памяти перед сбросом на диск.

   Чтобы узнать имя или идентификатор кластера, получите список кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   Как создать такой файл, см. в разделе Создание кластера.

2. Измените в описании кластера Managed Service for Apache Kafka® значения параметров в блоке kafka.kafka_config (в примере приведены не все настройки):

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     config {
       kafka {
         ...
         kafka_config {
           compression_type            = "<тип_сжатия>"
           log_flush_interval_messages = <максимальное_количество_сообщений_в_памяти>
           ...
         }
       }
     }
   }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы изменить настройки Apache Kafka®, воспользуйтесь методом REST API update для ресурса Cluster или вызовом gRPC API ClusterService/Update и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.

• Новые значения настроек Apache Kafka® в параметре:

  • configSpec.kafka.kafkaConfig_2_8, если используете Apache Kafka® версии 2.8;
  • configSpec.kafka.kafkaConfig_3, если используете Apache Kafka® версий 3.x.

• Список настроек, которые необходимо изменить, в параметре updateMask.

Чтобы переместить кластер, воспользуйтесь методом REST API move для ресурса Cluster или вызовом gRPC API ClusterService/Move и передайте в запросе:

• Идентификатор кластера в параметре clusterId. Чтобы узнать идентификатор, получите список кластеров в каталоге.
• Идентификатор каталога назначения в параметре destinationFolderId.