Создание кластера Apache Kafka®

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать кластер Managed Service for Apache Kafka®:

1. Посмотрите описание команды CLI для создания кластера Managed Service for Apache Kafka®:

   yc managed-kafka cluster create --help
   

2. Укажите параметры кластера Managed Service for Apache Kafka® в команде создания (в примере приведены не все параметры):

   yc managed-kafka cluster create \
      --name <имя_кластера> \
      --environment <окружение> \
      --version <версия> \
      --network-name <имя_сети> \
      --subnet-ids <идентификаторы_подсетей> \
      --zone-ids <зоны_доступности> \
      --brokers-count <количество_хостов-брокеров_в_зоне> \
      --resource-preset <класс_хоста> \
      --disk-type <network-hdd|network-ssd|network-ssd-nonreplicated|local-ssd> \
      --disk-size <размер_хранилища_ГБ> \
      --assign-public-ip <публичный_доступ> \
      --security-group-ids <список_идентификаторов_групп_безопасности> \
      --deletion-protection
   

   Где:

   • --environment — окружение кластера: prestable или production.

   • --version — версия Apache Kafka®: 2.8, 3.0, 3.1, 3.2, 3.3, 3.4, 3.5 или 3.6.

   • --zone-ids и --brokers-count — зоны доступности и число хостов-брокеров в каждой зоне.

     Для кластеров с версией Apache Kafka® 3.6 и выше доступны только следующие конфигурации:

     • --zone-ids=ru-central1-a,ru-central1-b,ru-central1-d --brokers-count=1;
     • --zone-ids=<одна_зона_доступности> --brokers-count=1;
     • --zone-ids=<одна_зона_доступности> --brokers-count=3.

   • --resource-preset — класс хостов.

   • --disk-type — тип диска.

     Важно

     Тип диска нельзя изменить после создания кластера.

   • --deletion-protection — защита кластера, его баз данных и пользователей от непреднамеренного удаления.

     Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

   Совет

   При необходимости здесь же можно задать настройки Apache Kafka®.

3. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров Managed Service for Apache Kafka®), передайте нужное значение в параметре --maintenance-window при создании кластера:

   yc managed-kafka cluster create \
      ...
      --maintenance-window type=<тип_технического_обслуживания>,`
                          `day=<день_недели>,`
                          `hour=<час_дня> \
   

   Где type — тип технического обслуживания:

   • anytime (по умолчанию) — в любое время.
   • weekly — по расписанию. При задании этого значения укажите день недели и час дня:
     • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.
     • hour — час дня по UTC в формате HH: от 1 до 24.

4. Чтобы в кластере не заканчивалось место на диске, создайте кластер с автоматическим увеличением размера хранилища:

   yc managed-kafka cluster create \
      ...
      --disk-size-autoscaling disk-size-limit=<максимальный_размер_хранилища_в_байтах>,`
                             `planned-usage-threshold=<процент_для_планового_увеличения>,`
                             `emergency-usage-threshold=<процент_для_незамедлительного_увеличения>
   

   Где:

   • planned-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно технического обслуживания.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

     Если вы задали этот параметр, настройте расписание технического обслуживания.

   • emergency-usage-threshold — процент заполнения хранилища, при котором хранилище будет увеличено немедленно.

     Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения planned-usage-threshold.

   • disk-size-limit — максимальный размер хранилища в байтах, который может быть установлен при достижении одного из заданных процентов заполнения.

     Если указать значение 0, автоматическое увеличение размера хранилища будет отключено.

   Важно

   • Размер хранилища нельзя уменьшить.
   • Во время изменения размера хранилища хосты кластера будут недоступны.

5. Чтобы создать кластер Managed Service for Apache Kafka®, размещенный на группах выделенных хостов, укажите через запятую их идентификаторы в параметре --host-group-ids при создании кластера:

   yc managed-kafka cluster create \
      ...
      --host-group-ids <идентификаторы_групп_выделенных_хостов>
   

   Внимание

   Эту настройку нельзя изменить после создания кластера. Использование выделенных хостов существенно влияет на тарификацию кластера.

Terraform позволяет быстро создать облачную инфраструктуру в Yandex Cloud и управлять ею с помощью файлов конфигураций. В файлах конфигураций хранится описание инфраструктуры на языке HCL (HashiCorp Configuration Language). При изменении файлов конфигураций Terraform автоматически определяет, какая часть вашей конфигурации уже развернута, что следует добавить или удалить.

Terraform распространяется под лицензией Business Source License, а провайдер Yandex Cloud для Terraform — под лицензией MPL-2.0.

Подробную информацию о ресурсах провайдера смотрите в документации на сайте Terraform или в зеркале.

Если у вас еще нет Terraform, установите его и настройте провайдер Yandex Cloud.

Чтобы создать кластер Managed Service for Apache Kafka®:

1. Опишите в конфигурационном файле создаваемые ресурсы:

   • Кластер Managed Service for Apache Kafka® — описание кластера и его хостов. При необходимости здесь же можно задать настройки Apache Kafka®.

   • Сеть — описание облачной сети, в которой будет расположен кластер. Если подходящая сеть у вас уже есть, описывать ее повторно не нужно.

   • Подсети — описание подсетей, к которым будут подключены хосты кластера. Если подходящие подсети у вас уже есть, описывать их повторно не нужно.

   Пример структуры конфигурационного файла:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     environment         = "<окружение>"
     name                = "<имя_кластера>"
     network_id          = "<идентификатор_сети>"
     subnet_ids          = ["<список_идентификаторов_подсетей>"]
     security_group_ids  = ["<список_идентификаторов_групп_безопасности_кластера>"]
     deletion_protection = <защита_от_удаления>
   
     config {
       version          = "<версия>"
       zones            = ["<зоны_доступности>"]
       brokers_count    = <количество_хостов-брокеров>
       assign_public_ip = "<публичный_доступ>"
       schema_registry  = "<управление_схемами_данных>"
       kafka {
         resources {
           disk_size          = <размер_хранилища_ГБ>
           disk_type_id       = "<тип_диска>"
           resource_preset_id = "<класс_хоста>"
         }
         kafka_config {}
       }
     }
   }
   
   resource "yandex_vpc_network" "<имя_сети>" {
     name = "<имя_сети>"
   }
   
   resource "yandex_vpc_subnet" "<имя_подсети>" {
     name           = "<имя_подсети>"
     zone           = "<зона_доступности>"
     network_id     = "<идентификатор_сети>"
     v4_cidr_blocks = ["<диапазон>"]
   }
   

   Где:

   • environment — окружение кластера: PRESTABLE или PRODUCTION.

   • version — версия Apache Kafka®: 2.8, 3.0, 3.1, 3.2, 3.3, 3.4, 3.5 или 3.6.

   • zones и brokers_count — зоны доступности и число хостов-брокеров в каждой зоне.

     Если вы создаете кластер с версией Apache Kafka® 3.6 и выше, укажите одну из доступных конфигураций:

     • zones = ["ru-central1-a","ru-central1-b","ru-central1-d"] brokers_count = 1;
     • zones = ["<одна_зона_доступности>"] brokers_count = 1;
     • zones = ["<одна_зона_доступности>"] brokers_count = 3.

   • deletion_protection — защита от удаления кластера: true или false.

   • assign_public_ip — публичный доступ к кластеру: true или false.

   • schema_registry — управление схемами данных: true или false.

   Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

   Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     maintenance_window {
       type = <тип_технического_обслуживания>
       day  = <день_недели>
       hour = <час_дня>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания. Принимает значения:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY в формате DDD. Например, MON.
   • hour — час дня по UTC для типа WEEKLY в формате HH. Например, 21.

2. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

3. Создайте кластер Managed Service for Apache Kafka®.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   После этого в указанном каталоге будут созданы все требуемые ресурсы, а в терминале отобразятся FQDN хостов кластера Managed Service for Apache Kafka®. Проверить появление ресурсов и их настройки можно в консоли управления.

Подробнее см. в документации провайдера Terraform.

resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
  ...
  timeouts {
    create = "1h30m" # Полтора часа
    update = "2h"    # 2 часа
    delete = "30m"   # 30 минут
  }
}

Чтобы создать кластер Managed Service for Apache Kafka®, воспользуйтесь методом REST API create для ресурса Cluster или вызовом gRPC API ClusterService/Create и передайте в запросе:

• Идентификатор каталога, в котором должен быть размещен кластер Managed Service for Apache Kafka®, в параметре folderId.

• Имя кластера Managed Service for Apache Kafka® в параметре name.

• Окружение: PRESTABLE или PRODUCTION — в параметре environment.

• Версию Apache Kafka®: 2.8, 3.0, 3.1, 3.2, 3.3, 3.4, 3.5 или 3.6. — в параметре configSpec.version.

• Зоны доступности в параметре configSpec.zoneId.
  При создании кластера с версией Apache Kafka® 3.6 и выше можно указать только одну или три зоны доступности.

• Количество хостов-брокеров в параметре configSpec.brokersCount.
  При создании кластера с версией Apache Kafka® 3.6 и выше можно указать только один или три хоста-брокера:

  • Если в параметре configSpec.zoneId указаны три зоны доступности, укажите количество хостов-брокеров 1.
  • Если в параметре configSpec.zoneId указана одна зона доступности, укажите количество хостов-брокеров 1 или 3.

• Идентификаторы групп безопасности в параметре securityGroupIds.

• Настройки времени технического обслуживания (в т. ч. для выключенных кластеров Managed Service for Apache Kafka®) в параметре maintenanceWindow.

• Настройки защиты от удаления кластера Managed Service for Apache Kafka® в параметре deletionProtection.

  Включенная защита от удаления кластера не помешает подключиться к нему вручную и удалить данные.

Чтобы управлять схемами данных с помощью Managed Schema Registry, передайте значение true для параметра configSpec.schemaRegistry. Эту настройку невозможно изменить после создания кластера Managed Service for Apache Kafka®.

Чтобы создать кластер Managed Service for Apache Kafka®, размещенный на группах выделенных хостов, передайте список их идентификаторов в параметре hostGroupIds.

Чтобы в кластере не заканчивалось место на диске, создайте кластер с автоматическим увеличением размера хранилища. Для этого передайте в запросе:

• Процент заполнения хранилища, при котором хранилище будет увеличено в следующее окно обслуживания, в параметре configSpec.diskSizeAutoscaling.plannedUsageThreshold.

  Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено).

  Если вы задали этот параметр, настройте расписание окна технического обслуживания.

• Процент заполнения хранилища, при котором хранилище будет увеличено немедленно, в параметре configSpec.diskSizeAutoscaling.emergencyUsageThreshold.

  Значение задается в процентах от 0 до 100. По умолчанию — 0 (автоматическое расширение отключено). Должно быть не меньше значения configSpec.diskSizeAutoscaling.plannedUsageThreshold.

• Максимальный размер хранилища (в байтах), который может быть установлен при достижении одного из заданных процентов заполнения, в параметре configSpec.diskSizeAutoscaling.diskSizeLimit.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список хостов кластера Managed Service for Apache Kafka®:

1. Посмотрите описание команды CLI для получения списка хостов кластера Managed Service for Apache Kafka®:

   yc managed-kafka cluster list-hosts --help
   

2. Получите список хостов кластера:

   yc managed-kafka cluster list-hosts <имя_или_идентификатор_кластера>
   

Чтобы получить список хостов кластера Managed Service for Apache Kafka®, воспользуйтесь методом REST API listHosts для ресурса Cluster или вызовом gRPC API ClusterService/ListHosts и передайте в запросе идентификатор кластера.

Чтобы узнать идентификатор кластера, получите список кластеров в каталоге.

Создайте кластер Managed Service for Apache Kafka® с тестовыми характеристиками:

• В облаке с идентификатором b1gq90dgh25********.

• В каталоге с идентификатором b1gia87mbaom********.

• С именем mykf.

• В окружении PRODUCTION.

• С Apache Kafka® версии 3.5.

• В новой сети mynet с подсетью mysubnet.

• В новой группе безопасности mykf-sg, разрешающей подключение к кластеру Managed Service for Apache Kafka® из интернета по порту 9091.

• С одним хостом класса s2.micro, в зоне доступности ru-central1-a.

• С одним хостом-брокером.

• С хранилищем на сетевых SSD-дисках (network-ssd) объемом 10 ГБ.

• С публичным доступом.

• С защитой от случайного удаления кластера Managed Service for Apache Kafka®.

Конфигурационный файл для такого кластера Managed Service for Apache Kafka® выглядит так:

resource "yandex_mdb_kafka_cluster" "mykf" {
  environment         = "PRODUCTION"
  name                = "mykf"
  network_id          = yandex_vpc_network.mynet.id
  subnet_ids          = [ yandex_vpc_subnet.mysubnet.id ]
  security_group_ids  = [ yandex_vpc_security_group.mykf-sg.id ]
  deletion_protection = true

  config {
    assign_public_ip = true
    brokers_count    = 1
    version          = "3.5"
    kafka {
      resources {
        disk_size          = 10
        disk_type_id       = "network-ssd"
        resource_preset_id = "s2.micro"
      }
      kafka_config {}
    }

    zones = [
      "ru-central1-a"
    ]
  }
}

resource "yandex_vpc_network" "mynet" {
  name = "mynet"
}

resource "yandex_vpc_subnet" "mysubnet" {
  name           = "mysubnet"
  zone           = "ru-central1-a"
  network_id     = yandex_vpc_network.mynet.id
  v4_cidr_blocks = ["10.5.0.0/24"]
}

resource "yandex_vpc_security_group" "mykf-sg" {
  name       = "mykf-sg"
  network_id = yandex_vpc_network.mynet.id

  ingress {
    description    = "Kafka"
    port           = 9091
    protocol       = "TCP"
    v4_cidr_blocks = [ "0.0.0.0/0" ]
  }
}