Создание кластера Apache Kafka®

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы создать кластер Managed Service for Apache Kafka®:

1. Посмотрите описание команды CLI для создания кластера Managed Service for Apache Kafka®:

   yc managed-kafka cluster create --help
   

2. Укажите параметры кластера Managed Service for Apache Kafka® в команде создания (в примере приведены не все параметры):

   yc managed-kafka cluster create \
      --name <имя_кластера> \
      --environment <окружение> \
      --version <версия> \
      --schema-registry \
      --network-name <имя_сети> \
      --subnet-ids <идентификаторы_подсетей> \
      --zone-ids <зоны_доступности> \
      --brokers-count <количество_хостов-брокеров_в_зоне> \
      --resource-preset <класс_хоста> \
      --disk-type <network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd> \
      --disk-size <размер_хранилища_ГБ> \
      --assign-public-ip <публичный_доступ> \
      --security-group-ids <список_идентификаторов_групп_безопасности> \
      --deletion-protection
   

   Где:

   • --environment — окружение кластера: prestable или production.

   • --version — версия Apache Kafka®: 3.5 или 3.6.

   • --schema-registry — управление схемами данных с помощью Managed Schema Registry.

     Важно

     Невозможно отключить управление схемами данных с помощью Managed Schema Registry после его подключения.

   • --zone-ids и --brokers-count — зоны доступности и число хостов-брокеров в каждой зоне.

     Для кластеров с версией Apache Kafka® 3.6 и выше доступны только следующие конфигурации:

     • --zone-ids=ru-central1-a,ru-central1-b,ru-central1-d --brokers-count=1;
     • --zone-ids=<одна_зона_доступности> --brokers-count=1;
     • --zone-ids=<одна_зона_доступности> --brokers-count=3.

   • --resource-preset — класс хостов.

   • --disk-type — тип диска.

     Важно

     Тип диска нельзя изменить после создания кластера.

   • --deletion-protection — защита кластера от непреднамеренного удаления: true или false.

     Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

   Совет

   При необходимости здесь же можно задать настройки Apache Kafka®.

3. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров Managed Service for Apache Kafka®), передайте нужное значение в параметре --maintenance-window при создании кластера:

   yc managed-kafka cluster create \
      ...
      --maintenance-window type=<тип_технического_обслуживания>,`
                          `day=<день_недели>,`
                          `hour=<час_дня> \
   

   Где type — тип технического обслуживания:

   • anytime (по умолчанию) — в любое время.
   • weekly — по расписанию. При задании этого значения укажите день недели и час дня:
     • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.
     • hour — час дня по UTC в формате HH: от 1 до 24.

4. Чтобы в кластере не заканчивалось место на диске, создайте кластер с автоматическим увеличением размера хранилища:

   yc managed-kafka cluster create \
      ...
      --disk-size-autoscaling disk-size-limit=<максимальный_размер_хранилища_в_байтах>,`
                             `planned-usage-threshold=<процент_для_планового_увеличения>,`
                             `emergency-usage-threshold=<процент_для_незамедлительного_увеличения>
   

   Где:

   • planned-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно технического обслуживания.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

     Если вы задали этот параметр, настройте расписание технического обслуживания.

   • emergency-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned-usage-threshold.

   • disk-size-limit — максимальный размер хранилища в байтах, который может быть установлен при достижении одного из заданных процентов заполнения.

     Если указать значение 0, автоматическое увеличение размера хранилища будет отключено.

   Важно

   • Размер хранилища нельзя уменьшить.
   • Во время изменения размера хранилища хосты кластера будут недоступны.

5. Чтобы создать кластер Managed Service for Apache Kafka®, размещенный на группах выделенных хостов, укажите через запятую их идентификаторы в параметре --host-group-ids при создании кластера:

   yc managed-kafka cluster create \
      ...
      --host-group-ids <идентификаторы_групп_выделенных_хостов>
   

   Внимание

   Эту настройку нельзя изменить после создания кластера. Использование выделенных хостов существенно влияет на тарификацию кластера.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать кластер Managed Service for Apache Kafka®:

1. Опишите в конфигурационном файле создаваемые ресурсы:

   • Кластер Managed Service for Apache Kafka® — описание кластера и его хостов. При необходимости здесь же можно задать настройки Apache Kafka®.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     environment         = "<окружение>"
     name                = "<имя_кластера>"
     network_id          = "<идентификатор_сети>"
     subnet_ids          = ["<список_идентификаторов_подсетей>"]
     security_group_ids  = ["<список_идентификаторов_групп_безопасности_кластера>"]
     deletion_protection = <защита_кластера_от_удаления>
   
     config {
       version          = "<версия>"
       zones            = ["<зоны_доступности>"]
       brokers_count    = <количество_хостов-брокеров>
       assign_public_ip = "<публичный_доступ>"
       schema_registry  = "<управление_схемами_данных>"
       kafka {
         resources {
           disk_size          = <размер_хранилища_ГБ>
           disk_type_id       = "<тип_диска>"
           resource_preset_id = "<класс_хоста>"
         }
         kafka_config {}
       }
     }
   }
   
   resource "yandex_vpc_network" "<имя_сети>" {
     name = "<имя_сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя_подсети>" {
     name           = "<имя_подсети>"
     zone           = "<зона_доступности>"
     network_id     = "<идентификатор_сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Где:

   • environment — окружение кластера: PRESTABLE или PRODUCTION.

   • version — версия Apache Kafka®: 3.5 или 3.6.

   • zones и brokers_count — зоны доступности и число хостов-брокеров в каждой зоне.

     Если вы создаете кластер с версией Apache Kafka® 3.6 и выше, укажите одну из доступных конфигураций:

     • zones = ["ru-central1-a","ru-central1-b","ru-central1-d"] brokers_count = 1;
     • zones = ["<одна_зона_доступности>"] brokers_count = 1;
     • zones = ["<одна_зона_доступности>"] brokers_count = 3.

   • deletion_protection — защита кластера от непреднамеренного удаления: true или false.

     Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

   • assign_public_ip — публичный доступ к кластеру: true или false.

   • schema_registry — управление схемами данных с помощью Managed Schema Registry: true или false. Значение по умолчанию — false.

     Важно

     Невозможно отключить управление схемами данных с помощью Managed Schema Registry после его подключения.

   Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     maintenance_window {
       type = <тип_технического_обслуживания>
       day  = <день_недели>
       hour = <час_дня>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания. Принимает значения:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY в формате DDD. Например, MON.
   • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер Managed Service for Apache Kafka®.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   После этого в указанном каталоге будут созданы все требуемые ресурсы, а в терминале отобразятся FQDN хостов кластера Managed Service for Apache Kafka®. Проверить появление ресурсов и их настройки можно в консоли управления.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.create и выполните запрос, например, с помощью cURL:

   1. Создайте файл body.json и добавьте в него следующее содержимое:

      Примечание

      В примере приведены не все доступные параметры.

      {
        "folderId": "<идентификатор_каталога>",
        "name": "<имя_кластера>",
        "environment": "<окружение>",
        "networkId": "<идентификатор_сети>",
        "securityGroupIds": [
          "<идентификатор_группы_безопасности_1>",
          "<идентификатор_группы_безопасности_2>",
          ...
          "<идентификатор_группы_безопасности_N>"
        ],
        "configSpec": {
          "version": "<версия_Apache Kafka®>",
          "kafka": {
            "resources": {
              "resourcePresetId": "<класс_хостов Apache Kafka®>",
              "diskSize": "<размер_хранилища_в_байтах>",
              "diskTypeId": "<тип_диска>"
            }
          },
          "zookeeper": {
            "resources": {
              "resourcePresetId": "<класс_хостов ZooKeeper>",
              "diskSize": "<размер_хранилища_в_байтах>",
              "diskTypeId": "<тип_диска>"                   
            }
          },
          "zoneId": [
            <список_зон_доступности>
          ],
          "brokersCount": "<количество_брокеров_в_зоне>",
          "assignPublicIp": <публичный_доступ:_true_или_false>,
          "schemaRegistry": <управление_схемами_данных:_true_или_false>,
          "restApiConfig": {
            "enabled": <отправка_запросов_к_API_Apache Kafka®:_true_или_false>
          },
          "diskSizeAutoscaling": {
            <параметры_автоматического_увеличения_размера_хранилища>
          },
        },
        "topicSpecs": [
          {
            "name": "<имя_топика>",
            "partitions": "<количество_партиций>",
            "replicationFactor": "<фактор_репликации>"
          },
          { <аналогичный_набор_настроек_для_топика_2> },
          { ... },
          { <аналогичный_набор_настроек_для_топика_N> }
        ],
        "userSpecs": [
          {
            "name": "<имя_пользователя>",
            "password": "<пароль_пользователя>",
            "permissions": [
              {
                "topicName": "<имя_топика>",
                "role": "<роль_пользователя>"
              }
            ]
          },
          { <аналогичный_набор_настроек_для_пользователя_2> },
          { ... },
          { <аналогичный_набор_настроек_для_пользователя_N> }
        ],
        "maintenanceWindow": {
          "anytime": {},
          "weeklyMaintenanceWindow": {
            "day": "<день_недели>",
            "hour": "<час_дня_по_UTC>"
          }
        },
        "deletionProtection": <защита_кластера_от_удаления:_true_или_false>
      }
      

      Где:

      • name — имя кластера.

      • environment — окружение кластера: PRODUCTION или PRESTABLE.

      • networkId — идентификатор сети, в которой будет размещен кластер.

      • securityGroupIds — идентификаторы групп безопасности в виде массива строк. Каждая строка — идентификатор группы безопасности.

      • configSpec — конфигурация кластера:

        • version — версия Apache Kafka®: 3.5 или 3.6.

        • kafka — конфигурация Apache Kafka®:

          • resources.resourcePresetId — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью метода ResourcePreset.list.
          • resources.diskSize — размер диска в байтах.
          • resources.diskTypeId — тип диска.

        • zookeeper — конфигурация ZooKeeper:

          • resources.resourcePresetId — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью метода ResourcePreset.list.
          • resources.diskSize — размер диска в байтах.
          • resources.diskTypeId — тип диска.

        • zoneId и brokersCount – зоны доступности и число хостов-брокеров в каждой зоне.

          Если вы создаете кластер с версией Apache Kafka® 3.6 и выше, укажите одну из доступных конфигураций:

          • "zoneId": ["ru-central1-a","ru-central1-b","ru-central1-d"], "brokersCount": "1";
          • "zoneId": ["<одна_зона_доступности>"], "brokersCount": "1";
          • "zoneId": ["<одна_зона_доступности>"], "brokersCount": "3".

        • assignPublicIp — доступность хостов-брокеров из интернета: true или false.

        • schemaRegistry – управлять схемами данных с помощью Managed Schema Registry: true или false. Значение по умолчанию — false. Эту настройку невозможно изменить после создания кластера Managed Service for Apache Kafka®.

        • restApiConfig – конфигурация Apache Kafka® REST API. Для доступа к отправке запросов к REST API Apache Kafka® укажите enabled: true.

        • diskSizeAutoscaling – пороги заполненности хранилища (в процентах от общего объема хранилища), при достижении которых его размер будет увеличиваться:

          • plannedUsageThreshold – процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

            Если вы задали этот параметр, настройте расписание окна технического обслуживания.

          • emergencyUsageThreshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения plannedUsageThreshold.

          • diskSizeLimit – максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

      • topicSpecs — настройки топиков в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

        • name — имя топика.

          Примечание

          Если нужно создать топик, начинающийся с символа _, используйте Admin API Apache Kafka®. Создать такой топик с помощью интерфейсов Yandex Cloud нельзя.

        • partitions – количество разделов.

        • replicationFactor – фактор репликации.

      • userSpecs — настройки пользователей в виде массива элементов. Каждый элемент соответствует отдельному пользователю и имеет следующую структуру:

        • name — имя пользователя. Оно может содержать латинские буквы, цифры, дефис и подчеркивание, но должно начинаться с буквы или подчеркивания.

        • password — пароль пользователя. Длина пароля от 8 до 128 символов.

        • permissions — список топиков, к которым пользователь должен иметь доступ.

          Список организован в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

          • topicName – имя или шаблон имени топика:
            • * — чтобы разрешить доступ к любым топикам.
            • Полное название топика — чтобы разрешить доступ конкретно к нему.
            • <префикс>* — чтобы выдать доступ к топикам, названия которых начинаются с указанного префикса. Допустим, есть топики topic_a1, topic_a2, a3. Если указать значение topic*, доступ будет разрешен для топиков topic_a1 и topic_a2.Для указания всех топиков в кластере используйте маску *.
          • role – роль пользователя: ACCESS_ROLE_CONSUMER, ACCESS_ROLE_PRODUCER или ACCESS_ROLE_ADMIN. Роль ACCESS_ROLE_ADMIN доступна только если выбраны все топики (topicName: "*").
          • allowHosts – (опционально) список IP-адресов, с которых пользователю разрешен доступ к топику.

      • maintenanceWindow — настройки времени технического обслуживания (в т. ч. для выключенных кластеров). Выберите один из вариантов:

        • anytime — (по умолчанию) — в любое время.
        • weeklyMaintenanceWindow — по расписанию:
          • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.
          • hour — час дня по UTC в формате HH: от 1 до 24.

      • deletionProtection — защита кластера от непреднамеренного удаления: true или false. Значение по умолчанию — false.

        Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

      Чтобы создать кластер Managed Service for Apache Kafka®, размещенный на группах выделенных хостов, передайте список их идентификаторов в параметре hostGroupIds.

      Внимание

      Эту настройку нельзя изменить после создания кластера. Использование выделенных хостов существенно влияет на тарификацию кластера.

      Идентификатор каталога можно запросить со списком каталогов в облаке.

   2. Выполните запрос:

      curl \
        --request POST \
        --header "Authorization: Bearer $IAM_TOKEN" \
        --header "Content-Type: application/json" \
        --url 'https://mdb.api.cloud.yandex.net/managed-kafka/v1/clusters' \
        --data '@body.json'
      

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/Сreate и выполните запрос, например, с помощью gRPCurl:

   1. Создайте файл body.json и добавьте в него следующее содержимое:

      Примечание

      В примере приведены не все доступные параметры.

      {
        "folder_id": "<идентификатор_каталога>",
        "name": "<имя_кластера>",
        "environment": "<окружение>",
        "network_id": "<идентификатор_сети>",
        "security_group_ids": [
          "<идентификатор_группы_безопасности_1>",
          "<идентификатор_группы_безопасности_2>",
          ...
          "<идентификатор_группы_безопасности_N>"
        ],
        "config_spec": {
          "version": "<версия_Apache Kafka®>",
          "kafka": {
            "resources": {
              "resource_preset_id": "<класс_хостов Apache Kafka®>",
              "disk_size": "<размер_хранилища_в_байтах>",
              "disk_type_id": "<тип_диска>"
            }
          },
          "zookeeper": {
            "resources": {
              "resource_preset_id": "<класс_хостов ZooKeeper>",
              "disk_size": "<размер_хранилища_в_байтах>",
              "disk_type_id": "<тип_диска>"                   
            }
          },
          "zone_id": [
            <список_зон_доступности>
          ],
          "brokers_count": {
            "value": "<количество_брокеров_в_зоне>"
          },
          "assign_public_ip": <публичный_доступ:_true_или_false>,
          "schema_registry": <управление_схемами_данных:_true_или_false>,
          "rest_api_config": {
            "enabled": <отправка_запросов_к_API_Apache Kafka®:_true_или_false>
          },
          "disk_size_autoscaling": {
            <параметры_автоматического_увеличения_размера_хранилища>
          },
        },
        "topic_specs": [
          {
            "name": "<имя_топика>",
            "partitions": {
              "value": "<количество_партиций>"
            },
            "replication_factor": {
              "value": "<фактор_репликации>"
            }
          },
          { <аналогичный_набор_настроек_для_топика_2> },
          { ... },
          { <аналогичный_набор_настроек_для_топика_N> }
        ],
        "user_specs": [
          {
            "name": "<имя_пользователя>",
            "password": "<пароль_пользователя>",
            "permissions": [
              {
                "topic_name": "<имя_топика>",
                "role": "<роль_пользователя>"
              }
            ]
          },
          { <аналогичный_набор_настроек_для_пользователя_2> },
          { ... },
          { <аналогичный_набор_настроек_для_пользователя_N> }
        ],
        "maintenance_window": {
          "anytime": {},
          "weekly_maintenance_window": {
            "day": "<день_недели>",
            "hour": "<час_дня_по_UTC>"
          }
        },
        "deletion_protection": <защита_кластера_от_удаления:_true_или_false>
      }
      

      Где:

      • name — имя кластера.

      • environment — окружение кластера: PRODUCTION или PRESTABLE.

      • network_id — идентификатор сети, в которой будет размещен кластер.

      • security_group_ids — идентификаторы групп безопасности в виде массива строк. Каждая строка — идентификатор группы безопасности.

      • config_spec — конфигурация кластера:

        • version — версия Apache Kafka®: 3.5 или 3.6.

        • kafka — конфигурация Apache Kafka®:

          • resources.resource_preset_id — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью вызова ResourcePreset.list.
          • resources.disk_size — размер диска в байтах.
          • resources.disk_type_id — тип диска.

        • zookeeper — конфигурация ZooKeeper:

          • resources.resource_preset_id — идентификатор класса хостов. Список доступных классов хостов с их идентификаторами можно запросить с помощью вызова ResourcePreset.list.
          • resources.disk_size — размер диска в байтах.
          • resources.disk_type_id — тип диска.

        • zone_id и brokers_count – зоны доступности и число хостов-брокеров в каждой зоне (число передается в виде объекта с полем value).

          Если вы создаете кластер с версией Apache Kafka® 3.6 и выше, укажите одну из доступных конфигураций:

          • "zone_id": ["ru-central1-a","ru-central1-b","ru-central1-d"], "brokers_count": {"value":"1"};
          • "zone_id": ["<одна_зона_доступности>"], "brokers_count": {"value":"1"};
          • "zone_id": ["<одна_зона_доступности>"], "brokers_count": {"value":"3"}.

        • assign_public_ip — доступность хостов-брокеров из интернета: true или false.

        • schema_registry – управлять схемами данных с помощью Managed Schema Registry: true или false. Значение по умолчанию — false. Эту настройку невозможно изменить после создания кластера Managed Service for Apache Kafka®.

        • rest_api_config – конфигурация Apache Kafka® REST API. Для доступа к отправке запросов к REST API Apache Kafka® укажите enabled: true.

        • disk_size_autoscaling – чтобы в кластере не заканчивалось место на диске, укажите пороги заполненности хранилища (в процентах от общего объема хранилища), при достижении которых его размер будет увеличиваться:

          • planned_usage_threshold – процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

            Если вы задали этот параметр, настройте расписание окна технического обслуживания.

          • emergency_usage_threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

            Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned_usage_threshold.

          • disk_size_limit – максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения.

      • topic_specs — настройки топиков в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

        • name — имя топика.

          Примечание

          Если нужно создать топик, начинающийся с символа _, используйте Admin API Apache Kafka®. Создать такой топик с помощью интерфейсов Yandex Cloud нельзя.

        • partitions – количество разделов. Передается в виде объекта с полем value.

        • replication_factor – фактор репликации. Передается в виде объекта с полем value.

      • user_specs — настройки пользователей в виде массива элементов. Каждый элемент соответствует отдельному пользователю и имеет следующую структуру:

        • name — имя пользователя. Оно может содержать латинские буквы, цифры, дефис и подчеркивание, но должно начинаться с буквы или подчеркивания.

        • password — пароль пользователя. Длина пароля от 8 до 128 символов.

        • permissions — список топиков, к которым пользователь должен иметь доступ.

          Список организован в виде массива элементов. Каждый элемент соответствует отдельному топику и имеет следующую структуру:

          • topic_name – имя или шаблон имени топика:
            • * — чтобы разрешить доступ к любым топикам.
            • Полное название топика — чтобы разрешить доступ конкретно к нему.
            • <префикс>* — чтобы выдать доступ к топикам, названия которых начинаются с указанного префикса. Допустим, есть топики topic_a1, topic_a2, a3. Если указать значение topic*, доступ будет разрешен для топиков topic_a1 и topic_a2.Для указания всех топиков в кластере используйте маску *.
          • role – роль пользователя: ACCESS_ROLE_CONSUMER, ACCESS_ROLE_PRODUCER или ACCESS_ROLE_ADMIN. Роль ACCESS_ROLE_ADMIN доступна только если выбраны все топики (topicName: "*").
          • allow_hosts – (опционально) список IP-адресов, с которых пользователю разрешен доступ к топику, в виде массива элементов.

      • maintenance_window — настройки времени технического обслуживания (в т. ч. для выключенных кластеров). Выберите один из вариантов:

        • anytime — (по умолчанию) — в любое время.
        • weekly_maintenance_window — по расписанию:
          • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.
          • hour — час дня по UTC в формате HH: от 1 до 24.

      • deletion_protection — защита кластера от непреднамеренного удаления: true или false. Значение по умолчанию — false.

        Включенная защита кластера от удаления не помешает удалить пользователя или топик, а также подключиться вручную и удалить данные.

      Чтобы создать кластер Managed Service for Apache Kafka®, размещенный на группах выделенных хостов, передайте список их идентификаторов в параметре host_group_ids.

      Внимание

      Эту настройку нельзя изменить после создания кластера. Использование выделенных хостов существенно влияет на тарификацию кластера.

      Идентификатор каталога можно запросить со списком каталогов в облаке.

   2. Выполните запрос:

      curl \
        --request POST \
        --header "Authorization: Bearer $IAM_TOKEN" \
        --header "Content-Type: application/json" \
        --url 'https://mdb.api.cloud.yandex.net/managed-kafka/v1/clusters' \
        --data '@body.json'
      

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы получить список хостов в кластере, выполните команду:

yc managed-kafka cluster list-hosts <имя_или_идентификатор_кластера>

Идентификатор и имя кластера можно запросить со списком кластеров в каталоге.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.listHosts и выполните запрос, например, с помощью cURL:

   curl \
       --request GET \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --url 'https://mdb.api.cloud.yandex.net/managed-kafka/v1/clusters/<идентификатор_кластера>/hosts'
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/ListHosts и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/mdb/kafka/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
               "cluster_id": "<идентификатор_кластера>"
           }' \
       mdb.api.cloud.yandex.net:443 \
       yandex.cloud.mdb.kafka.v1.ClusterService.ListHosts
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Создайте кластер Managed Service for Apache Kafka® с тестовыми характеристиками:

• В облаке с идентификатором b1gq90dgh25********.

• В каталоге с идентификатором b1gia87mbaom********.

• С именем mykf.

• В окружении PRODUCTION.

• С Apache Kafka® версии 3.5.

• В новой сети mynet с подсетью mysubnet.

• В новой группе безопасности mykf-sg, разрешающей подключение к кластеру Managed Service for Apache Kafka® из интернета по порту 9091.

• С одним хостом класса s2.micro, в зоне доступности ru-central1-a.

• С одним хостом-брокером.

• С хранилищем на сетевых SSD-дисках (network-ssd) объемом 10 ГБ.

• С публичным доступом.

• С защитой от непреднамеренного удаления.

Конфигурационный файл для такого кластера Managed Service for Apache Kafka® выглядит так:

resource "yandex_mdb_kafka_cluster" "mykf" {
  environment         = "PRODUCTION"
  name                = "mykf"
  network_id          = yandex_vpc_network.mynet.id
  subnet_ids          = [ yandex_vpc_subnet.mysubnet.id ]
  security_group_ids  = [ yandex_vpc_security_group.mykf-sg.id ]
  deletion_protection = true

  config {
    assign_public_ip = true
    brokers_count    = 1
    version          = "3.5"
    kafka {
      resources {
        disk_size          = 10
        disk_type_id       = "network-ssd"
        resource_preset_id = "s2.micro"
      }
      kafka_config {}
    }

    zones = [
      "ru-central1-a"
    ]
  }
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "mykf-sg" {
  name       = "mykf-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Kafka"
    port           = 9091
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}