Создание кластера Apache Kafka®

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы создать кластер Managed Service for Apache Kafka®:

1. Посмотрите описание команды CLI для создания кластера Managed Service for Apache Kafka®:

   yc managed-kafka cluster create --help
   

2. Укажите параметры кластера Managed Service for Apache Kafka® в команде создания (в примере приведены не все параметры):

   yc managed-kafka cluster create \
      --name <имя_кластера> \
      --environment <окружение> \
      --version <версия> \
      --schema-registry \
      --network-name <имя_сети> \
      --subnet-ids <идентификаторы_подсетей> \
      --zone-ids <зоны_доступности> \
      --brokers-count <количество_хостов-брокеров_в_зоне> \
      --resource-preset <класс_хоста> \
      --disk-type <network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd> \
      --disk-size <размер_хранилища_ГБ> \
      --assign-public-ip <разрешить_публичный_доступ_к_кластеру> \
      --security-group-ids <список_идентификаторов_групп_безопасности> \
      --deletion-protection \
      --kafka-ui-enabled <true_или_false>
   

   Где:

   • --environment — окружение кластера: prestable или production.

   • --version — версия Apache Kafka®: 3.5, 3.6, 3.7, 3.8 или 3.9. Дополнительно передайте конфигурацию хостов ZooKeeper.

   • --schema-registry — управление схемами данных с помощью Managed Schema Registry.

     Важно

     Невозможно отключить управление схемами данных с помощью Managed Schema Registry после его подключения.

   • --zone-ids и --brokers-count — зоны доступности и число хостов-брокеров в каждой зоне.

   • --resource-preset — класс хостов.

   • --disk-type — тип диска.

     Важно

     Тип диска нельзя изменить после создания кластера.

   • --deletion-protection — защита кластера от непреднамеренного удаления: true или false.

     Примечание

     Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

   • --kafka-ui-enabled — использование веб-интерфейса Kafka UI для Apache Kafka®: true или false.

   Совет

   При необходимости здесь же можно задать настройки Apache Kafka®.

3. Чтобы использовать ZooKeeper в кластере, передайте конфигурацию хостов ZooKeeper:

   yc managed-kafka cluster create \
       ...
       --zookeeper-resource-preset <класс_хоста> \
       --zookeeper-disk-size <размер_хранилища_ГБ> \
       --zookeeper-disk-type <network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd> \
       ...
   
   

   Где:

   • --zookeeper-resource-preset — класс хостов ZooKeeper.
   • --zookeeper-disk-size — размер хранилища.
   • --zookeeper-disk-type — тип диска ZooKeeper.

4. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров Managed Service for Apache Kafka®), передайте нужное значение в параметре --maintenance-window при создании кластера:

   yc managed-kafka cluster create \
   ...
   --maintenance-window type=<тип_технического_обслуживания>,`
                       `day=<день_недели>,`
                       `hour=<час_дня> \
   ...
   

   Где type — тип технического обслуживания:

   • anytime (по умолчанию) — в любое время.
   • weekly — по расписанию. Для этого значения дополнительно укажите:
     • day — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.
     • hour — час дня по UTC: от 1 до 24.

5. Чтобы в кластере не заканчивалось место на диске, создайте кластер с автоматическим увеличением размера хранилища:

   yc managed-kafka cluster create \
   ...
   --disk-size-autoscaling disk-size-limit=<максимальный_размер_хранилища_в_байтах>,`
                           `planned-usage-threshold=<процент_для_планового_увеличения>,`
                           `emergency-usage-threshold=<процент_для_незамедлительного_увеличения> \
   ...
   

   Где:

   • planned-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно технического обслуживания.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

     Если вы задали этот параметр, настройте расписание технического обслуживания.

   • emergency-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned-usage-threshold.

   • disk-size-limit — максимальный размер хранилища в байтах, который может быть установлен при достижении одного из заданных процентов заполнения.

     Если указать значение 0, автоматическое увеличение размера хранилища будет отключено.

   Важно

   • Размер хранилища нельзя уменьшить.
   • Во время изменения размера хранилища хосты кластера будут недоступны.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать кластер Managed Service for Apache Kafka®:

1. Опишите в конфигурационном файле создаваемые ресурсы:

   • Кластер Managed Service for Apache Kafka® — описание кластера и его хостов. При необходимости здесь же можно задать настройки Apache Kafka®.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     environment         = "<окружение>"
     name                = "<имя_кластера>"
     network_id          = "<идентификатор_сети>"
     subnet_ids          = ["<список_идентификаторов_подсетей>"]
     security_group_ids  = ["<список_идентификаторов_групп_безопасности_кластера>"]
     deletion_protection = <защитить_кластер_от_удаления>
   
     config {
       version          = "<версия>"
       zones            = ["<зоны_доступности>"]
       brokers_count    = <количество_хостов-брокеров>
       assign_public_ip = "<разрешить_публичный_доступ_к_кластеру>"
       schema_registry  = "<включить_управление_схемами_данных>"
       kafka_ui {
         enabled = <использовать_веб-интерфейс_Kafka_UI>
       }
       kafka {
         resources {
           disk_size          = <размер_хранилища_ГБ>
           disk_type_id       = "<тип_диска>"
           resource_preset_id = "<класс_хоста>"
         }
         kafka_config {}
       }
     }
   }
   
   resource "yandex_vpc_network" "<имя_сети>" {
     name = "<имя_сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя_подсети>" {
     name           = "<имя_подсети>"
     zone           = "<зона_доступности>"
     network_id     = "<идентификатор_сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Где:

   • environment — окружение кластера: PRESTABLE или PRODUCTION.

   • version — версия Apache Kafka®: 3.5, 3.6, 3.7, 3.8 или 3.9. Дополнительно передайте конфигурацию хостов ZooKeeper.

   • zones и brokers_count — зоны доступности и число хостов-брокеров в каждой зоне.

   • deletion_protection — защита кластера от непреднамеренного удаления: true или false.

     Примечание

     Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

   • assign_public_ip — публичный доступ к кластеру: true или false.

   • schema_registry — управление схемами данных с помощью Managed Schema Registry: true или false. Значение по умолчанию — false.

     Важно

     Невозможно отключить управление схемами данных с помощью Managed Schema Registry после его подключения.

   • kafka_ui — использование веб-интерфейса Kafka UI для Apache Kafka®: true или false. Значение по умолчанию — false.

   Чтобы использовать ZooKeeper в кластере, добавьте к описанию кластера блок zookeeper:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     zookeeper {
       resources {
         resource_preset_id = "<класс_хоста>"
         disk_type_id       = "<тип_диска>"
         disk_size          = <размер_хранилища_ГБ>
       }
     }
   }
   

   Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     maintenance_window {
       type = <тип_технического_обслуживания>
       day  = <день_недели>
       hour = <час_дня>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания. Принимает значения:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY: MON, TUE, WED, THU, FRI, SAT или SUN.
   • hour — час дня по UTC для типа WEEKLY: от 1 до 24.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер Managed Service for Apache Kafka®.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   После этого в указанном каталоге будут созданы все требуемые ресурсы, а в терминале отобразятся FQDN хостов кластера Managed Service for Apache Kafka®. Проверить появление ресурсов и их настройки можно в консоли управления.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.create и выполните запрос, например, с помощью cURL:

   1. Создайте файл body.json и добавьте в него следующее содержимое:

      Примечание

      В примере приведены не все доступные параметры.

      {
        "folderId": "<идентификатор_каталога>",
        "name": "<имя_кластера>",
        "environment": "<окружение>",
        "networkId": "<идентификатор_сети>",
        "securityGroupIds": [
          "<идентификатор_группы_безопасности_1>",
          "<идентификатор_группы_безопасности_2>",
          ...
          "<идентификатор_группы_безопасности_N>"
        ],
        "configSpec": {
          "version": "<версия_Apache Kafka®>",
          "kafka": {
            "resources": {
              "resourcePresetId": "<класс_хостов Apache Kafka®>",
              "diskSize": "<размер_хранилища_в_байтах>",
              "diskTypeId": "<тип_диска>"
            }
          },
          "zookeeper": {
            "resources": {
              "resourcePresetId": "<класс_хостов ZooKeeper>",
              "diskSize": "<размер_хранилища_в_байтах>",
              "diskTypeId": "<тип_диска>"                   
            }
          },
          "zoneId": [
            <список_зон_доступности>
          ],
          "brokersCount": "<количество_брокеров_в_зоне>",
          "assignPublicIp": <разрешить_публичный_доступ_к_кластеру>,
          "schemaRegistry": <включить_управление_схемами_данных>,
          "restApiConfig": {
            "enabled": <включить_отправку_запросов_к_API_Apache Kafka®>
          },
          "diskSizeAutoscaling": {
            <параметры_автоматического_увеличения_размера_хранилища>
          },
          "kafkaUiConfig": {
            "enabled": <использовать_веб-интерфейс_Kafka_UI>
          }
        },
        "topicSpecs": [
          {
            "name": "<имя_топика>",
            "partitions": "<количество_партиций>",
            "replicationFactor": "<фактор_репликации>"
          },
          { <аналогичный_набор_настроек_для_топика_2> },
          { ... },
          { <аналогичный_набор_настроек_для_топика_N> }
        ],
        "userSpecs": [
          {
            "name": "<имя_пользователя>",
            "password": "<пароль_пользователя>",
            "permissions": [
              {
                "topicName": "<имя_топика>",
                "role": "<роль_пользователя>"
              }
            ]
          },
          { <аналогичный_набор_настроек_для_пользователя_2> },
          { ... },
          { <аналогичный_набор_настроек_для_пользователя_N> }
        ],
        "maintenanceWindow": {
          "anytime": {},
          "weeklyMaintenanceWindow": {
            "day": "<день_недели>",
            "hour": "<час_дня_по_UTC>"
          }
        },
        "deletionProtection": <защитить_кластер_от_удаления>
      }
      

      Где:

      • name — имя кластера.

      • environment — окружение кластера: PRODUCTION или PRESTABLE.

      • networkId — идентификатор сети, в которой будет размещен кластер.

      • securityGroupIds — идентификаторы групп безопасности в виде массива строк. Каждая строка — идентификатор группы безопасности.

      • configSpec — конфигурация кластера:

        • version — версия Apache Kafka®: 3.5, 3.6, 3.7, 3.8 или 3.9. Дополнительно передайте конфигурацию хостов ZooKeeper.

        • kafka — конфигурация Apache Kafka®:

          • resources.resourcePresetId — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью метода ResourcePreset.list.
          • resources.diskSize — размер диска в байтах.
          • resources.diskTypeId — тип диска.

        • zookeeper — конфигурация ZooKeeper:

          • resources.resourcePresetId — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью метода ResourcePreset.list.
          • resources.diskSize — размер диска в байтах.
          • resources.diskTypeId — тип диска.

        • zoneId и brokersCount – зоны доступности и число хостов-брокеров в каждой зоне.

        • assignPublicIp — доступность хостов-брокеров из интернета: true или false.

        • schemaRegistry – управлять схемами данных с помощью Managed Schema Registry: true или false. Значение по умолчанию — false. Эту настройку невозможно изменить после создания кластера Managed Service for Apache Kafka®.

        • restApiConfig — конфигурация Apache Kafka® REST API. Для доступа к отправке запросов к REST API Apache Kafka® укажите enabled: true.

        • diskSizeAutoscaling – пороги заполненности хранилища (в процентах от общего объема хранилища), при достижении которых его размер будет увеличиваться:

          • plannedUsageThreshold – процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

            Если вы задали этот параметр, настройте расписание окна технического обслуживания.

          • emergencyUsageThreshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения plannedUsageThreshold.

          • diskSizeLimit – максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

        • kafkaUiConfig — использование веб-интерфейса Kafka UI. Для доступа к веб-интерфейсу Kafka UI укажите enabled: true.

      • topicSpecs — настройки топиков в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

        • name — имя топика.

          Примечание

          Если нужно создать топик, начинающийся с символа _, используйте Admin API Apache Kafka®. Создать такой топик с помощью интерфейсов Yandex Cloud нельзя.

        • partitions – количество разделов.

        • replicationFactor – фактор репликации.

      • userSpecs — настройки пользователей в виде массива элементов. Каждый элемент соответствует отдельному пользователю и имеет следующую структуру:

        • name — имя пользователя. Оно может содержать латинские буквы, цифры, дефис и подчеркивание, но должно начинаться с буквы или подчеркивания.

        • password — пароль пользователя. Длина пароля от 8 до 128 символов.

        • permissions — список топиков, к которым пользователь должен иметь доступ.

          Список организован в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

          • topicName – имя или шаблон имени топика:
            • * — чтобы разрешить доступ к любым топикам.
            • Полное название топика — чтобы разрешить доступ конкретно к нему.
            • <префикс>* — чтобы выдать доступ к топикам, названия которых начинаются с указанного префикса. Допустим, есть топики topic_a1, topic_a2, a3. Если указать значение topic*, доступ будет разрешен для топиков topic_a1 и topic_a2.Для указания всех топиков в кластере используйте маску *.
          • role – роль пользователя: ACCESS_ROLE_CONSUMER, ACCESS_ROLE_PRODUCER или ACCESS_ROLE_ADMIN. Роль ACCESS_ROLE_ADMIN доступна только если выбраны все топики (topicName: "*").
          • allowHosts – (опционально) список IP-адресов, с которых пользователю разрешен доступ к топику.

      • maintenanceWindow — настройки времени технического обслуживания (в том числе для выключенных кластеров). Выберите один из вариантов:

        • anytime (по умолчанию) — в любое время.
        • weeklyMaintenanceWindow — по расписанию:
          • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.
          • hour — час дня по UTC в формате HH: от 1 до 24.

      • deletionProtection — защита кластера от непреднамеренного удаления: true или false. Значение по умолчанию — false.

        Примечание

        Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

      Идентификатор каталога можно запросить со списком каталогов в облаке.

   2. Выполните запрос:

      curl \
        --request POST \
        --header "Authorization: Bearer $IAM_TOKEN" \
        --header "Content-Type: application/json" \
        --url 'https://mdb.api.yandexcloud.kz/managed-kafka/v1/clusters' \
        --data '@body.json'
      

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/Create и выполните запрос, например, с помощью gRPCurl:

   1. Создайте файл body.json и добавьте в него следующее содержимое:

      Примечание

      В примере приведены не все доступные параметры.

      {
        "folder_id": "<идентификатор_каталога>",
        "name": "<имя_кластера>",
        "environment": "<окружение>",
        "network_id": "<идентификатор_сети>",
        "security_group_ids": [
          "<идентификатор_группы_безопасности_1>",
          "<идентификатор_группы_безопасности_2>",
          ...
          "<идентификатор_группы_безопасности_N>"
        ],
        "config_spec": {
          "version": "<версия_Apache Kafka®>",
          "kafka": {
            "resources": {
              "resource_preset_id": "<класс_хостов Apache Kafka®>",
              "disk_size": "<размер_хранилища_в_байтах>",
              "disk_type_id": "<тип_диска>"
            }
          },
          "zookeeper": {
            "resources": {
              "resource_preset_id": "<класс_хостов ZooKeeper>",
              "disk_size": "<размер_хранилища_в_байтах>",
              "disk_type_id": "<тип_диска>"                   
            }
          },
          "zone_id": [
            <список_зон_доступности>
          ],
          "brokers_count": {
            "value": "<количество_брокеров_в_зоне>"
          },
          "assign_public_ip": <разрешить_публичный_доступ_к_кластеру>,
          "schema_registry": <включить_управление_схемами_данных>,
          "rest_api_config": {
            "enabled": <включить_отправку_запросов_к_API_Apache Kafka®>
          },
          "disk_size_autoscaling": {
            <параметры_автоматического_увеличения_размера_хранилища>
          },
          "kafka_ui_config": {
            "enabled": <использовать_веб-интерфейс_Kafka_UI>
          }
        },
        "topic_specs": [
          {
            "name": "<имя_топика>",
            "partitions": {
              "value": "<количество_партиций>"
            },
            "replication_factor": {
              "value": "<фактор_репликации>"
            }
          },
          { <аналогичный_набор_настроек_для_топика_2> },
          { ... },
          { <аналогичный_набор_настроек_для_топика_N> }
        ],
        "user_specs": [
          {
            "name": "<имя_пользователя>",
            "password": "<пароль_пользователя>",
            "permissions": [
              {
                "topic_name": "<имя_топика>",
                "role": "<роль_пользователя>"
              }
            ]
          },
          { <аналогичный_набор_настроек_для_пользователя_2> },
          { ... },
          { <аналогичный_набор_настроек_для_пользователя_N> }
        ],
        "maintenance_window": {
          "anytime": {},
          "weekly_maintenance_window": {
            "day": "<день_недели>",
            "hour": "<час_дня_по_UTC>"
          }
        },
        "deletion_protection": <защитить_кластер_от_удаления>
      }
      

      Где:

      • name — имя кластера.

      • environment — окружение кластера: PRODUCTION или PRESTABLE.

      • network_id — идентификатор сети, в которой будет размещен кластер.

      • security_group_ids — идентификаторы групп безопасности в виде массива строк. Каждая строка — идентификатор группы безопасности.

      • config_spec — конфигурация кластера:

        • version — версия Apache Kafka®: 3.5, 3.6, 3.7, 3.8 или 3.9. Дополнительно передайте конфигурацию хостов ZooKeeper.

        • kafka — конфигурация Apache Kafka®:

          • resources.resource_preset_id — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью вызова ResourcePreset.list.
          • resources.disk_size — размер диска в байтах.
          • resources.disk_type_id — тип диска.

        • zookeeper — конфигурация ZooKeeper:

          • resources.resource_preset_id — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью вызова ResourcePreset.list.
          • resources.disk_size — размер диска в байтах.
          • resources.disk_type_id — тип диска.

        • zone_id и brokers_count – зоны доступности и число хостов-брокеров в каждой зоне (число передается в виде объекта с полем value).

        • assign_public_ip — доступность хостов-брокеров из интернета: true или false.

        • schema_registry – управлять схемами данных с помощью Managed Schema Registry: true или false. Значение по умолчанию — false. Эту настройку невозможно изменить после создания кластера Managed Service for Apache Kafka®.

        • rest_api_config — конфигурация Apache Kafka® REST API. Для доступа к отправке запросов к REST API Apache Kafka® укажите enabled: true.

        • disk_size_autoscaling – чтобы в кластере не заканчивалось место на диске, укажите пороги заполненности хранилища (в процентах от общего объема хранилища), при достижении которых его размер будет увеличиваться:

          • planned_usage_threshold – процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

            Если вы задали этот параметр, настройте расписание окна технического обслуживания.

          • emergency_usage_threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned_usage_threshold.

          • disk_size_limit – максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

        • kafka_ui_config — использование веб-интерфейса Kafka UI. Для доступа к веб-интерфейсу Kafka UI укажите enabled: true.

      • topic_specs — настройки топиков в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

        • name — имя топика.

          Примечание

          Если нужно создать топик, начинающийся с символа _, используйте Admin API Apache Kafka®. Создать такой топик с помощью интерфейсов Yandex Cloud нельзя.

        • partitions – количество разделов. Передается в виде объекта с полем value.

        • replication_factor – фактор репликации. Передается в виде объекта с полем value.

      • user_specs — настройки пользователей в виде массива элементов. Каждый элемент соответствует отдельному пользователю и имеет следующую структуру:

        • name — имя пользователя. Оно может содержать латинские буквы, цифры, дефис и подчеркивание, но должно начинаться с буквы или подчеркивания.

        • password — пароль пользователя. Длина пароля от 8 до 128 символов.

        • permissions — список топиков, к которым пользователь должен иметь доступ.

          Список организован в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

          • topic_name – имя или шаблон имени топика:
            • * — чтобы разрешить доступ к любым топикам.
            • Полное название топика — чтобы разрешить доступ конкретно к нему.
            • <префикс>* — чтобы выдать доступ к топикам, названия которых начинаются с указанного префикса. Допустим, есть топики topic_a1, topic_a2, a3. Если указать значение topic*, доступ будет разрешен для топиков topic_a1 и topic_a2.Для указания всех топиков в кластере используйте маску *.
          • role – роль пользователя: ACCESS_ROLE_CONSUMER, ACCESS_ROLE_PRODUCER или ACCESS_ROLE_ADMIN. Роль ACCESS_ROLE_ADMIN доступна только если выбраны все топики (topicName: "*").
          • allow_hosts – (опционально) список IP-адресов, с которых пользователю разрешен доступ к топику, в виде массива элементов.

      • maintenance_window — настройки времени технического обслуживания (в том числе для выключенных кластеров). Выберите один из вариантов:

        • anytime (по умолчанию) — в любое время.
        • weekly_maintenance_window — по расписанию:
          • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.
          • hour — час дня по UTC в формате HH: от 1 до 24.

      • deletion_protection — защита кластера от непреднамеренного удаления: true или false. Значение по умолчанию — false.

        Примечание

        Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

      Идентификатор каталога можно запросить со списком каталогов в облаке.

   2. Выполните запрос:

      curl \
        --request POST \
        --header "Authorization: Bearer $IAM_TOKEN" \
        --header "Content-Type: application/json" \
        --url 'https://mdb.api.yandexcloud.kz/managed-kafka/v1/clusters' \
        --data '@body.json'
      

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы создать кластер Managed Service for Apache Kafka®:

1. Посмотрите описание команды CLI для создания кластера Managed Service for Apache Kafka®:

   yc managed-kafka cluster create --help
   

2. Укажите параметры кластера Managed Service for Apache Kafka® в команде создания (в примере приведены не все параметры):

   yc managed-kafka cluster create \
      --name <имя_кластера> \
      --environment <окружение> \
      --version <версия> \
      --schema-registry \
      --network-name <имя_сети> \
      --subnet-ids <идентификаторы_подсетей> \
      --resource-preset <класс_хоста> \
      --disk-type <network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd> \
      --disk-size <размер_хранилища_ГБ> \
      --assign-public-ip <разрешить_публичный_доступ_к_кластеру> \
      --security-group-ids <список_идентификаторов_групп_безопасности> \
      --deletion-protection \
      --kafka-ui-enabled <true_или_false>
   

   Где:

   • --environment — окружение кластера: prestable или production.

   • --version — версия Apache Kafka®. Указывайте версию 3.6 и выше.

   • --schema-registry — управление схемами данных с помощью Managed Schema Registry.

     Важно

     Невозможно отключить управление схемами данных с помощью Managed Schema Registry после его подключения.

   • --zone-ids и --brokers-count — зоны доступности и число хостов-брокеров в каждой зоне.

     Если вы создаете кластер с KRaft (комбинированный режим), укажите одну из доступных конфигураций:

     • --zone-ids=kz1-a,kz1-b,kz1-d --brokers-count=1 — три зоны доступности, один хост-брокер в каждой зоне;
     • --zone-ids=<одна_зона_доступности> --brokers-count=3 — одна зона доступности, три хоста-брокера.

   • --resource-preset — класс хостов.

   • --disk-type — тип диска.

     Важно

     Тип диска нельзя изменить после создания кластера.

   • --deletion-protection — защита кластера от непреднамеренного удаления: true или false.

     Примечание

     Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

   • --kafka-ui-enabled — использование веб-интерфейса Kafka UI для Apache Kafka®: true или false.

   Совет

   При необходимости здесь же можно задать настройки Apache Kafka®.

3. Чтобы использовать KRaft (на отдельных хостах) передайте конфигурацию хостов KRaft.

   yc managed-kafka cluster create \
       ...
       --controller-resource-preset <класс_хоста> \
       --controller-disk-size <размер_хранилища_ГБ> \
       --controller-disk-type <network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd> \
       ...
   
   

   Где:

   • --controller-resource-preset — класс хостов KRaft.
   • --controller-disk-size — размер хранилища.
   • --controller-disk-type — тип диска KRaft.

4. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров Managed Service for Apache Kafka®), передайте нужное значение в параметре --maintenance-window при создании кластера:

   yc managed-kafka cluster create \
   ...
   --maintenance-window type=<тип_технического_обслуживания>,`
                       `day=<день_недели>,`
                       `hour=<час_дня> \
   ...
   

   Где type — тип технического обслуживания:

   • anytime (по умолчанию) — в любое время.
   • weekly — по расписанию. Для этого значения дополнительно укажите:
     • day — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.
     • hour — час дня по UTC: от 1 до 24.

5. Чтобы в кластере не заканчивалось место на диске, создайте кластер с автоматическим увеличением размера хранилища:

   yc managed-kafka cluster create \
   ...
   --disk-size-autoscaling disk-size-limit=<максимальный_размер_хранилища_в_байтах>,`
                           `planned-usage-threshold=<процент_для_планового_увеличения>,`
                           `emergency-usage-threshold=<процент_для_незамедлительного_увеличения> \
   ...
   

   Где:

   • planned-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно технического обслуживания.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

     Если вы задали этот параметр, настройте расписание технического обслуживания.

   • emergency-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned-usage-threshold.

   • disk-size-limit — максимальный размер хранилища в байтах, который может быть установлен при достижении одного из заданных процентов заполнения.

     Если указать значение 0, автоматическое увеличение размера хранилища будет отключено.

   Важно

   • Размер хранилища нельзя уменьшить.
   • Во время изменения размера хранилища хосты кластера будут недоступны.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать кластер Managed Service for Apache Kafka®:

1. Опишите в конфигурационном файле создаваемые ресурсы:

   • Кластер Managed Service for Apache Kafka® — описание кластера и его хостов. При необходимости здесь же можно задать настройки Apache Kafka®.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     environment         = "<окружение>"
     name                = "<имя_кластера>"
     network_id          = "<идентификатор_сети>"
     subnet_ids          = ["<список_идентификаторов_подсетей>"]
     security_group_ids  = ["<список_идентификаторов_групп_безопасности_кластера>"]
     deletion_protection = <защитить_кластер_от_удаления>
   
     config {
       version          = "<версия>"
       zones            = ["<зоны_доступности>"]
       brokers_count    = <количество_хостов-брокеров>
       assign_public_ip = "<разрешить_публичный_доступ_к_кластеру>"
       schema_registry  = "<включить_управление_схемами_данных>"
       kafka_ui {
         enabled = <использовать_веб-интерфейс_Kafka_UI>
       }
       kafka {
         resources {
           disk_size          = <размер_хранилища_ГБ>
           disk_type_id       = "<тип_диска>"
           resource_preset_id = "<класс_хоста>"
         }
         kafka_config {}
       }
     }
   }
   
   resource "yandex_vpc_network" "<имя_сети>" {
     name = "<имя_сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя_подсети>" {
     name           = "<имя_подсети>"
     zone           = "<зона_доступности>"
     network_id     = "<идентификатор_сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Где:

   • environment — окружение кластера: PRESTABLE или PRODUCTION.

   • version — версия Apache Kafka®. Указывайте версию 3.6 и выше.

   • zones и brokers_count — зоны доступности и число хостов-брокеров в каждой зоне.

     Если вы создаете кластер с KRaft (комбинированный режим), укажите одну из доступных конфигураций:

     • zones = ["kz1-a","kz1-b","kz1-d"] brokers_count = 1 — три зоны доступности, один хост-брокер в каждой зоне;
     • zones = ["<одна_зона_доступности>"] brokers_count = 3 — одна зона доступности, три хоста-брокера.

   • deletion_protection — защита кластера от непреднамеренного удаления: true или false.

     Примечание

     Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

   • assign_public_ip — публичный доступ к кластеру: true или false.

   • schema_registry — управление схемами данных с помощью Managed Schema Registry: true или false. Значение по умолчанию — false.

     Важно

     Невозможно отключить управление схемами данных с помощью Managed Schema Registry после его подключения.

   • kafka_ui — использование веб-интерфейса Kafka UI для Apache Kafka®: true или false. Значение по умолчанию — false.

   Чтобы использовать KRaft (на отдельных хостах), добавьте к описанию кластера блок kraft:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     kraft {
       resources {
         resource_preset_id = "<класс_хоста>"
         disk_type_id       = "<тип_диска>"
         disk_size          = <размер_хранилища_ГБ>
       }
     }
   }
   

   Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     maintenance_window {
       type = <тип_технического_обслуживания>
       day  = <день_недели>
       hour = <час_дня>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания. Принимает значения:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY: MON, TUE, WED, THU, FRI, SAT или SUN.
   • hour — час дня по UTC для типа WEEKLY: от 1 до 24.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер Managed Service for Apache Kafka®.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   После этого в указанном каталоге будут созданы все требуемые ресурсы, а в терминале отобразятся FQDN хостов кластера Managed Service for Apache Kafka®. Проверить появление ресурсов и их настройки можно в консоли управления.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.create и выполните запрос, например, с помощью cURL:

   1. Создайте файл body.json и добавьте в него следующее содержимое:

      Примечание

      В примере приведены не все доступные параметры.

      {
        "folderId": "<идентификатор_каталога>",
        "name": "<имя_кластера>",
        "environment": "<окружение>",
        "networkId": "<идентификатор_сети>",
        "securityGroupIds": [
          "<идентификатор_группы_безопасности_1>",
          "<идентификатор_группы_безопасности_2>",
          ...
          "<идентификатор_группы_безопасности_N>"
        ],
        "configSpec": {
          "version": "<версия_Apache Kafka®>",
          "kafka": {
            "resources": {
              "resourcePresetId": "<класс_хостов Apache Kafka®>",
              "diskSize": "<размер_хранилища_в_байтах>",
              "diskTypeId": "<тип_диска>"
            }
          },
          "kraft": {
            "resources": {
              "resourcePresetId": "<класс_хостов KRaft>",
              "diskSize": "<размер_хранилища_в_байтах>",
              "diskTypeId": "<тип_диска>"                   
            }
          },
          "zoneId": [
            <список_зон_доступности>
          ],
          "brokersCount": "<количество_брокеров_в_зоне>",
          "assignPublicIp": <разрешить_публичный_доступ_к_кластеру>,
          "schemaRegistry": <включить_управление_схемами_данных>,
          "restApiConfig": {
            "enabled": <включить_отправку_запросов_к_API_Apache Kafka®>
          },
          "diskSizeAutoscaling": {
            <параметры_автоматического_увеличения_размера_хранилища>
          },
          "kafkaUiConfig": {
            "enabled": <использовать_веб-интерфейс_Kafka_UI>
          }
        },
        "topicSpecs": [
          {
            "name": "<имя_топика>",
            "partitions": "<количество_партиций>",
            "replicationFactor": "<фактор_репликации>"
          },
          { <аналогичный_набор_настроек_для_топика_2> },
          { ... },
          { <аналогичный_набор_настроек_для_топика_N> }
        ],
        "userSpecs": [
          {
            "name": "<имя_пользователя>",
            "password": "<пароль_пользователя>",
            "permissions": [
              {
                "topicName": "<имя_топика>",
                "role": "<роль_пользователя>"
              }
            ]
          },
          { <аналогичный_набор_настроек_для_пользователя_2> },
          { ... },
          { <аналогичный_набор_настроек_для_пользователя_N> }
        ],
        "maintenanceWindow": {
          "anytime": {},
          "weeklyMaintenanceWindow": {
            "day": "<день_недели>",
            "hour": "<час_дня_по_UTC>"
          }
        },
        "deletionProtection": <защитить_кластер_от_удаления>
      }
      

      Где:

      • name — имя кластера.

      • environment — окружение кластера: PRODUCTION или PRESTABLE.

      • networkId — идентификатор сети, в которой будет размещен кластер.

      • securityGroupIds — идентификаторы групп безопасности в виде массива строк. Каждая строка — идентификатор группы безопасности.

      • configSpec — конфигурация кластера:

        • version — версия Apache Kafka®. Указывайте версию 3.6 и выше.

        • kafka — конфигурация Apache Kafka®:

          • resources.resourcePresetId — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью метода ResourcePreset.list.
          • resources.diskSize — размер диска в байтах.
          • resources.diskTypeId — тип диска.

        • kraft — конфигурация KRaft:

          • resources.resourcePresetId — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью метода ResourcePreset.list.
          • resources.diskSize — размер диска в байтах.
          • resources.diskTypeId — тип диска.

          Важно

          Если вы создаете кластер с KRaft (комбинированный режим), не передавайте конфигурацию хостов KRaft.

        • zoneId и brokersCount – зоны доступности и число хостов-брокеров в каждой зоне.

          Если вы создаете кластер с KRaft (комбинированный режим), укажите одну из доступных конфигураций:

          • "zoneId": ["kz1-a","kz1-b","kz1-d"], "brokersCount": "1" — три зоны доступности, один хост-брокер в каждой зоне;
          • "zoneId": ["<одна_зона_доступности>"], "brokersCount": "3" — одна зона доступности, три хоста-брокера.

        • assignPublicIp — доступность хостов-брокеров из интернета: true или false.

        • schemaRegistry – управлять схемами данных с помощью Managed Schema Registry: true или false. Значение по умолчанию — false. Эту настройку невозможно изменить после создания кластера Managed Service for Apache Kafka®.

        • restApiConfig – конфигурация Apache Kafka® REST API. Для доступа к отправке запросов к REST API Apache Kafka® укажите enabled: true.

        • diskSizeAutoscaling – пороги заполненности хранилища (в процентах от общего объема хранилища), при достижении которых его размер будет увеличиваться:

          • plannedUsageThreshold – процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

            Если вы задали этот параметр, настройте расписание окна технического обслуживания.

          • emergencyUsageThreshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения plannedUsageThreshold.

          • diskSizeLimit – максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

        • kafkaUiConfig — использование веб-интерфейса Kafka UI. Для доступа к веб-интерфейсу Kafka UI укажите enabled: true.

      • topicSpecs — настройки топиков в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

        • name — имя топика.

          Примечание

          Если нужно создать топик, начинающийся с символа _, используйте Admin API Apache Kafka®. Создать такой топик с помощью интерфейсов Yandex Cloud нельзя.

        • partitions – количество разделов.

        • replicationFactor – фактор репликации.

      • userSpecs — настройки пользователей в виде массива элементов. Каждый элемент соответствует отдельному пользователю и имеет следующую структуру:

        • name — имя пользователя. Оно может содержать латинские буквы, цифры, дефис и подчеркивание, но должно начинаться с буквы или подчеркивания.

        • password — пароль пользователя. Длина пароля от 8 до 128 символов.

        • permissions — список топиков, к которым пользователь должен иметь доступ.

          Список организован в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

          • topicName – имя или шаблон имени топика:
            • * — чтобы разрешить доступ к любым топикам.
            • Полное название топика — чтобы разрешить доступ конкретно к нему.
            • <префикс>* — чтобы выдать доступ к топикам, названия которых начинаются с указанного префикса. Допустим, есть топики topic_a1, topic_a2, a3. Если указать значение topic*, доступ будет разрешен для топиков topic_a1 и topic_a2.Для указания всех топиков в кластере используйте маску *.
          • role – роль пользователя: ACCESS_ROLE_CONSUMER, ACCESS_ROLE_PRODUCER или ACCESS_ROLE_ADMIN. Роль ACCESS_ROLE_ADMIN доступна только если выбраны все топики (topicName: "*").
          • allowHosts – (опционально) список IP-адресов, с которых пользователю разрешен доступ к топику.

      • maintenanceWindow — настройки времени технического обслуживания (в т. ч. для выключенных кластеров). Выберите один из вариантов:

        • anytime — (по умолчанию) — в любое время.
        • weeklyMaintenanceWindow — по расписанию:
          • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.
          • hour — час дня по UTC в формате HH: от 1 до 24.

      • deletionProtection — защита кластера от непреднамеренного удаления: true или false. Значение по умолчанию — false.

        Примечание

        Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

      Идентификатор каталога можно запросить со списком каталогов в облаке.

   2. Выполните запрос:

      curl \
        --request POST \
        --header "Authorization: Bearer $IAM_TOKEN" \
        --header "Content-Type: application/json" \
        --url 'https://mdb.api.yandexcloud.kz/managed-kafka/v1/clusters' \
        --data '@body.json'
      

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/Сreate и выполните запрос, например, с помощью gRPCurl:

   1. Создайте файл body.json и добавьте в него следующее содержимое:

      Примечание

      В примере приведены не все доступные параметры.

      {
        "folder_id": "<идентификатор_каталога>",
        "name": "<имя_кластера>",
        "environment": "<окружение>",
        "network_id": "<идентификатор_сети>",
        "security_group_ids": [
          "<идентификатор_группы_безопасности_1>",
          "<идентификатор_группы_безопасности_2>",
          ...
          "<идентификатор_группы_безопасности_N>"
        ],
        "config_spec": {
          "version": "<версия_Apache Kafka®>",
          "kafka": {
            "resources": {
              "resource_preset_id": "<класс_хостов Apache Kafka®>",
              "disk_size": "<размер_хранилища_в_байтах>",
              "disk_type_id": "<тип_диска>"
            }
          },
          "kraft": {
            "resources": {
              "resource_preset_id": "<класс_хостов KRaft>",
              "disk_size": "<размер_хранилища_в_байтах>",
              "disk_type_id": "<тип_диска>"                   
            }
          },
          "zone_id": [
            <список_зон_доступности>
          ],
          "brokers_count": {
            "value": "<количество_брокеров_в_зоне>"
          },
          "assign_public_ip": <разрешить_публичный_доступ_к_кластеру>,
          "schema_registry": <включить_управление_схемами_данных>,
          "rest_api_config": {
            "enabled": <включить_отправку_запросов_к_API_Apache Kafka®>
          },
          "disk_size_autoscaling": {
            <параметры_автоматического_увеличения_размера_хранилища>
          },
          "kafka_ui_config": {
            "enabled": <использовать_веб-интерфейс_Kafka_UI>
          }
        },
        "topic_specs": [
          {
            "name": "<имя_топика>",
            "partitions": {
              "value": "<количество_партиций>"
            },
            "replication_factor": {
              "value": "<фактор_репликации>"
            }
          },
          { <аналогичный_набор_настроек_для_топика_2> },
          { ... },
          { <аналогичный_набор_настроек_для_топика_N> }
        ],
        "user_specs": [
          {
            "name": "<имя_пользователя>",
            "password": "<пароль_пользователя>",
            "permissions": [
              {
                "topic_name": "<имя_топика>",
                "role": "<роль_пользователя>"
              }
            ]
          },
          { <аналогичный_набор_настроек_для_пользователя_2> },
          { ... },
          { <аналогичный_набор_настроек_для_пользователя_N> }
        ],
        "maintenance_window": {
          "anytime": {},
          "weekly_maintenance_window": {
            "day": "<день_недели>",
            "hour": "<час_дня_по_UTC>"
          }
        },
        "deletion_protection": <защитить_кластер_от_удаления>
      }
      

      Где:

      • name — имя кластера.

      • environment — окружение кластера: PRODUCTION или PRESTABLE.

      • network_id — идентификатор сети, в которой будет размещен кластер.

      • security_group_ids — идентификаторы групп безопасности в виде массива строк. Каждая строка — идентификатор группы безопасности.

      • config_spec — конфигурация кластера:

        • version — версия Apache Kafka®. Указывайте версию 3.6 и выше.

        • kafka — конфигурация Apache Kafka®:

          • resources.resource_preset_id — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью вызова ResourcePreset.list.
          • resources.disk_size — размер диска в байтах.
          • resources.disk_type_id — тип диска.

        • kraft — конфигурация KRaft:

          • resources.resource_preset_id — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью вызова ResourcePreset.list.
          • resources.disk_size — размер диска в байтах.
          • resources.disk_type_id — тип диска.

          Важно

          Если вы создаете кластер с KRaft (комбинированный режим), не передавайте конфигурацию хостов KRaft.

        • zone_id и brokers_count – зоны доступности и число хостов-брокеров в каждой зоне (число передается в виде объекта с полем value).

          Если вы создаете кластер с KRaft (комбинированный режим), укажите одну из доступных конфигураций:

          • "zone_id": ["kz1-a","kz1-b","kz1-d"], "brokers_count": {"value":"1"} — три зоны доступности, один хост-брокер в каждой зоне;
          • "zone_id": ["<одна_зона_доступности>"], "brokers_count": {"value":"3"} — одна зона доступности, три хоста-брокера.

        • assign_public_ip — доступность хостов-брокеров из интернета: true или false.

        • schema_registry – управлять схемами данных с помощью Managed Schema Registry: true или false. Значение по умолчанию — false. Эту настройку невозможно изменить после создания кластера Managed Service for Apache Kafka®.

        • rest_api_config – конфигурация Apache Kafka® REST API. Для доступа к отправке запросов к REST API Apache Kafka® укажите enabled: true.

        • disk_size_autoscaling – чтобы в кластере не заканчивалось место на диске, укажите пороги заполненности хранилища (в процентах от общего объема хранилища), при достижении которых его размер будет увеличиваться:

          • planned_usage_threshold – процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

            Если вы задали этот параметр, настройте расписание окна технического обслуживания.

          • emergency_usage_threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned_usage_threshold.

          • disk_size_limit – максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

        • kafka_ui_config — использование веб-интерфейса Kafka UI. Для доступа к веб-интерфейсу Kafka UI укажите enabled: true.

      • topic_specs — настройки топиков в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

        • name — имя топика.

          Примечание

          Если нужно создать топик, начинающийся с символа _, используйте Admin API Apache Kafka®. Создать такой топик с помощью интерфейсов Yandex Cloud нельзя.

        • partitions – количество разделов. Передается в виде объекта с полем value.

        • replication_factor – фактор репликации. Передается в виде объекта с полем value.

      • user_specs — настройки пользователей в виде массива элементов. Каждый элемент соответствует отдельному пользователю и имеет следующую структуру:

        • name — имя пользователя. Оно может содержать латинские буквы, цифры, дефис и подчеркивание, но должно начинаться с буквы или подчеркивания.

        • password — пароль пользователя. Длина пароля от 8 до 128 символов.

        • permissions — список топиков, к которым пользователь должен иметь доступ.

          Список организован в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

          • topic_name – имя или шаблон имени топика:
            • * — чтобы разрешить доступ к любым топикам.
            • Полное название топика — чтобы разрешить доступ конкретно к нему.
            • <префикс>* — чтобы выдать доступ к топикам, названия которых начинаются с указанного префикса. Допустим, есть топики topic_a1, topic_a2, a3. Если указать значение topic*, доступ будет разрешен для топиков topic_a1 и topic_a2.Для указания всех топиков в кластере используйте маску *.
          • role – роль пользователя: ACCESS_ROLE_CONSUMER, ACCESS_ROLE_PRODUCER или ACCESS_ROLE_ADMIN. Роль ACCESS_ROLE_ADMIN доступна только если выбраны все топики (topicName: "*").
          • allow_hosts – (опционально) список IP-адресов, с которых пользователю разрешен доступ к топику, в виде массива элементов.

      • maintenance_window — настройки времени технического обслуживания (в т. ч. для выключенных кластеров). Выберите один из вариантов:

        • anytime — (по умолчанию) — в любое время.
        • weekly_maintenance_window — по расписанию:
          • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.
          • hour — час дня по UTC в формате HH: от 1 до 24.

      • deletion_protection — защита кластера от непреднамеренного удаления: true или false. Значение по умолчанию — false.

        Примечание

        Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

      Идентификатор каталога можно запросить со списком каталогов в облаке.

   2. Выполните запрос:

      curl \
        --request POST \
        --header "Authorization: Bearer $IAM_TOKEN" \
        --header "Content-Type: application/json" \
        --url 'https://mdb.api.yandexcloud.kz/managed-kafka/v1/clusters' \
        --data '@body.json'
      

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Создайте кластер Managed Service for Apache Kafka® с тестовыми характеристиками:

• В облаке с идентификатором b1gq90dgh25********.

• В каталоге с идентификатором b1gia87mbaom********.

• С именем mykf.

• В окружении PRODUCTION.

• С Apache Kafka® версии 3.9.

• В новой сети mynet и подсети mysubnet с диапазоном адресов 10.5.0.0/24.

• В новой группе безопасности mykf-sg, разрешающей подключение к кластеру Managed Service for Apache Kafka® из интернета по порту 9091.

• С одним хостом-брокером класса s2.micro, в зоне доступности kz1-a.

• С хранилищем на сетевых SSD-дисках (network-ssd) объемом 10 ГБ.

• С публичным доступом.

• С защитой от непреднамеренного удаления.

Конфигурационный файл для такого кластера Managed Service for Apache Kafka® выглядит так:

resource "yandex_mdb_kafka_cluster" "mykf" {
  environment         = "PRODUCTION"
  name                = "mykf"
  network_id          = yandex_vpc_network.mynet.id
  subnet_ids          = [ yandex_vpc_subnet.mysubnet.id ]
  security_group_ids  = [ yandex_vpc_security_group.mykf-sg.id ]
  deletion_protection = true

  config {
    assign_public_ip = true
    brokers_count    = 1
    version          = "3.9"
    kafka {
      resources {
        disk_size          = 10
        disk_type_id       = "network-ssd"
        resource_preset_id = "s2.micro"
      }
      kafka_config {}
    }

    zones = [
      "kz1-a"
    ]
  }
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "kz1-a"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "mykf-sg" {
  name       = "mykf-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Kafka"
    port           = 9091
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}

Создайте кластер Managed Service for Apache Kafka® с тестовыми характеристиками:

• С именем kafka-kraft.

• В окружении production.

• С Apache Kafka® версии 3.9.

• В новой сети kafka-net и подсетях для каждой зоны доступности:

  • kafka-subnet-a с диапазоном адресов 10.1.0.0/24;
  • kafka-subnet-b с диапазоном адресов 10.2.0.0/24;
  • kafka-subnet-d с диапазоном адресов 10.3.0.0/24.

• С одним хостом-брокером в каждой зоне доступности:

  • ru-central1-a
  • ru-central1-b
  • ru-central1-d

• С классом хостов s2.micro.

• С хранилищем на сетевых HDD-дисках (network-hdd) объемом 10 ГБ.

• С публичным доступом.

• В группе безопасности kafka-sg, разрешающей весь входящий и исходящий трафик.

Конфигурационный файл для такого кластера Managed Service for Apache Kafka® выглядит так:

resource "yandex_mdb_kafka_cluster" "kafka-kraft" {
  name                = "kafka-kraft"
  environment         = "PRODUCTION"
  network_id          = yandex_vpc_network.kafka-net.id
  subnet_ids          = [yandex_vpc_subnet.kafka-subnet-a.id, yandex_vpc_subnet.kafka-subnet-b.id, yandex_vpc_subnet.kafka-subnet-d.id]
  security_group_ids  = [yandex_vpc_security_group.kafka-sg.id]

  config {
    version          = "3.9"
    brokers_count    = 1
    zones            = ["ru-central1-a", "ru-central1-b", "ru-central1-d"]
    assign_public_ip = true
    
    kafka {
      resources {
        disk_size          = 10
        disk_type_id       = "network-hdd"
        resource_preset_id = "s2.micro"
      }

      kafka_config {}
    }
  }
}

resource "yandex_vpc_network" "kafka-net" {
  name = "kafka-net"
}

resource "yandex_vpc_subnet" "kafka-subnet-a" {
  name           = "kafka-subnet-a"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.kafka-net.id
  v4_cidr_blocks = ["10.1.0.0/24"]
}

resource "yandex_vpc_subnet" "kafka-subnet-b" {
  name           = "kafka-subnet-b"
  zone           = "ru-central1-b"
  network_id     = yandex_vpc_network.kafka-net.id
  v4_cidr_blocks = ["10.2.0.0/24"]
}

resource "yandex_vpc_subnet" "kafka-subnet-d" {
  name           = "kafka-subnet-d"
  zone           = "ru-central1-d"
  network_id     = yandex_vpc_network.kafka-net.id
  v4_cidr_blocks = ["10.3.0.0/24"]
}

resource "yandex_vpc_security_group" "kafka-sg" {
  name       = "kafka-sg"
  network_id = yandex_vpc_network.kafka-net.id

  ingress {
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }
}

Создайте кластер Managed Service for Apache Kafka® с тестовыми характеристиками:

• С именем kafka-kraft-mh.

• В окружении production.

• С Apache Kafka® версии 3.9.

• В новой сети kafka-net и подсетях для каждой зоны доступности:

  • kafka-subnet-a с диапазоном адресов 10.1.0.0/24;
  • kafka-subnet-b с диапазоном адресов 10.2.0.0/24;
  • kafka-subnet-d с диапазоном адресов 10.3.0.0/24.

• С двумя хостами-брокерами в зоне доступности ru-central1-a.

• С классом хостов s2.micro.

• С хранилищем на сетевых HDD-дисках (network-hdd) объемом 10 ГБ.

• С классом хостов контроллера KRaft s2.micro.

• С хранилищем контроллера KRaft на сетевых SSD-дисках (network-ssd) объемом 10 ГБ.

• С публичным доступом.

• В группе безопасности kafka-sg, разрешающей весь входящий и исходящий трафик.

Конфигурационный файл для такого кластера Managed Service for Apache Kafka® выглядит так:

resource "yandex_mdb_kafka_cluster" "kafka-kraft-mh" {
  name                = "kafka-kraft-mh"
  environment         = "PRODUCTION"
  network_id          = yandex_vpc_network.kafka-net.id
  subnet_ids          = [yandex_vpc_subnet.kafka-subnet-a.id,yandex_vpc_subnet.kafka-subnet-b.id,yandex_vpc_subnet.kafka-subnet-d.id]
  security_group_ids  = [yandex_vpc_security_group.kafka-sg.id]

  config {
    version          = "3.9"
    brokers_count    = 2
    zones            = ["ru-central1-a"]
    assign_public_ip = true
    
    kafka {
      resources {
        disk_size          = 10
        disk_type_id       = "network-hdd"
        resource_preset_id = "s2.micro"
      }

      kafka_config {}
    }

    kraft {
      resources {
        resource_preset_id = "s2.micro"
        disk_type_id       = "network-ssd"
        disk_size          = 10
      }
    }
  }
}

resource "yandex_vpc_network" "kafka-net" {
  name = "kafka-net"
}

resource "yandex_vpc_subnet" "kafka-subnet-a" {
  name           = "kafka-subnet-a"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.kafka-net.id
  v4_cidr_blocks = ["10.1.0.0/24"]
}

resource "yandex_vpc_subnet" "kafka-subnet-b" {
  name           = "kafka-subnet-b"
  zone           = "ru-central1-b"
  network_id     = yandex_vpc_network.kafka-net.id
  v4_cidr_blocks = ["10.2.0.0/24"]
}

resource "yandex_vpc_subnet" "kafka-subnet-d" {
  name           = "kafka-subnet-d"
  zone           = "ru-central1-d"
  network_id     = yandex_vpc_network.kafka-net.id
  v4_cidr_blocks = ["10.3.0.0/24"]
}

resource "yandex_vpc_security_group" "kafka-sg" {
  name       = "kafka-sg"
  network_id = yandex_vpc_network.kafka-net.id

  ingress {
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }
}

Создайте кластер Managed Service for Apache Kafka® с тестовыми характеристиками:

• С именем kafka-zk-mh.

• В окружении production.

• С Apache Kafka® версии 3.9.

• В новой сети kafka-net и подсетях для каждой зоны доступности:

  • kafka-subnet-a с диапазоном адресов 10.1.0.0/24;
  • kafka-subnet-b с диапазоном адресов 10.2.0.0/24;
  • kafka-subnet-d с диапазоном адресов 10.3.0.0/24.

• С двумя хостами-брокерами в зоне доступности ru-central1-a.

• С классом хостов s2.micro.

• С хранилищем на сетевых HDD-дисках (network-hdd) объемом 10 ГБ.

• С классом хостов ZooKeeper s2.micro.

• С хранилищем ZooKeeper на сетевых SSD-дисках (network-ssd) объемом 10 ГБ.

• С публичным доступом.

• В группе безопасности kafka-sg, разрешающей весь входящий и исходящий трафик.

Конфигурационный файл для такого кластера Managed Service for Apache Kafka® выглядит так:

resource "yandex_mdb_kafka_cluster" "kafka-zk-mh" {
  name                = "kafka-zk-mh"
  environment         = "PRODUCTION"
  network_id          = yandex_vpc_network.kafka-net.id
  subnet_ids          = [yandex_vpc_subnet.kafka-subnet-a.id,yandex_vpc_subnet.kafka-subnet-b.id,yandex_vpc_subnet.kafka-subnet-d.id]
  security_group_ids  = [yandex_vpc_security_group.kafka-sg.id]

  config {
    version          = "3.9"
    brokers_count    = 2
    zones            = ["ru-central1-a"]
    assign_public_ip = true
    
    kafka {
      resources {
        disk_size          = 10
        disk_type_id       = "network-hdd"
        resource_preset_id = "s2.micro"
      }

      kafka_config {}
    }

    zookeeper {
      resources {
        resource_preset_id = "s2.micro"
        disk_type_id       = "network-ssd"
        disk_size          = 10
      }
    }
  }
}

resource "yandex_vpc_network" "kafka-net" {
  name = "kafka-net"
}

resource "yandex_vpc_subnet" "kafka-subnet-a" {
  name           = "kafka-subnet-a"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.kafka-net.id
  v4_cidr_blocks = ["10.1.0.0/24"]
}

resource "yandex_vpc_subnet" "kafka-subnet-b" {
  name           = "kafka-subnet-b"
  zone           = "ru-central1-b"
  network_id     = yandex_vpc_network.kafka-net.id
  v4_cidr_blocks = ["10.2.0.0/24"]
}

resource "yandex_vpc_subnet" "kafka-subnet-d" {
  name           = "kafka-subnet-d"
  zone           = "ru-central1-d"
  network_id     = yandex_vpc_network.kafka-net.id
  v4_cidr_blocks = ["10.3.0.0/24"]
}

resource "yandex_vpc_security_group" "kafka-sg" {
  name       = "kafka-sg"
  network_id = yandex_vpc_network.kafka-net.id

  ingress {
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }

  egress {
    protocol       = "ANY"
    v4_cidr_blocks = ["0.0.0.0/0"]
  }
}