Связаться с намиПодключиться

Управление топиками Apache Kafka®

Статья создана
Обновлена 17 октября 2024 г.

Кластер Managed Service for Apache Kafka® позволяет управлять топиками и разделами двумя способами (как отдельно, так и совместно):

Управление топиками через интерфейсы Yandex Cloud

Создать топик

Перед созданием топика рассчитайте минимальный размер хранилища.

  1. В консоли управления перейдите в нужный каталог.
  2. В списке сервисов выберите Managed Service for Kafka.
  3. Нажмите на имя нужного кластера и перейдите на вкладку Топики.
  4. Нажмите кнопку Создать топик.
  5. В блоке Базовые параметры задайте базовые параметры топика:
    • Имя топика (должно быть уникально в пределах кластера Apache Kafka®).
    • Количество разделов в топике.
    • Фактор репликации. Значение этого параметра не должно превышать количество брокеров в кластере. Минимальное значение: 1. Максимальное значение: 3. Значение по умолчанию:
      • для кластера из одного или двух брокеров: 1;
      • для кластера с тремя и более брокерами: 3.
  6. В блоке Настройки топика задайте настройки топика.
  7. Нажмите кнопку Создать.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать топик:

  1. Посмотрите описание команды CLI для создания топиков:

    yc managed-kafka topic create --help

  2. Создайте топик:

    yc managed-kafka topic create <имя_топика> \
  --cluster-name <имя_кластера> \
  --partitions <количество_разделов> \
  --replication-factor <фактор_репликации>

    При необходимости здесь же задайте настройки топика.

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О том, как создать такой файл, см. в разделе Создание кластера.

  2. Добавьте ресурс yandex_mdb_kafka_topic и, при необходимости, задайте настройки топика в блоке topic_config:

    resource "yandex_mdb_kafka_topic" "<имя_топика>" {
  cluster_id         = "<идентификатор_кластера>"
  name               = "<имя_топика>"
  partitions         = <количество_разделов>
  replication_factor = <фактор_репликации>
  topic_config {
    compression_type = "<тип_сжатия>"
    flush_messages   = <максимальное_число_сообщений_в_памяти>
    ...
  }
}

  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Чтобы создать топик, воспользуйтесь методом REST API create для ресурса Topic или вызовом gRPC API TopicService/Create и передайте в запросе:

Примечание

В процессе своей работы Managed Service for Apache Kafka® может создавать служебные топики. Записывать пользовательские данные в такие топики нельзя.

Изменить настройки топика

Количество разделов в топиках Managed Service for Apache Kafka® нельзя уменьшить. Если в хранилище не хватает места, создать новые разделы нельзя.

Подробнее см. в разделе Минимальный размер хранилища.

  1. В консоли управления перейдите в нужный каталог.
  2. В списке сервисов выберите Managed Service for Kafka.
  3. Нажмите на имя нужного кластера, затем выберите вкладку Топики.
  4. Нажмите значок для нужного топика и выберите пункт Редактировать.
  5. Измените базовые параметры топика:
    • Количество разделов в топике.
    • Фактор репликации. Значение этого параметра не должно превышать количество брокеров в кластере. Минимальное значение: 1. Максимальное значение: 3. Значение по умолчанию:
      • Для кластера из одного или двух брокеров: 1.
      • Для кластера с тремя и более брокерами: 3.
  6. Измените дополнительные настройки топика.
  7. Нажмите кнопку Сохранить.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы изменить настройки топика:

  1. Посмотрите описание команды CLI для изменения топиков:

    yc managed-kafka topic update --help

  2. Измените настройки топика:

    yc managed-kafka topic update <имя_топика> \
  --cluster-name <имя_кластера> \
  --partitions <количество_разделов> \
  --replication-factor <фактор_репликации>

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О том, как создать такой файл, см. в разделе Создание кластера.

  2. Измените значение параметров в описании ресурса yandex_mdb_kafka_topic:

    resource "yandex_mdb_kafka_topic" "<имя_топика>" {
  cluster_id         = "<идентификатор_кластера>"
  name               = "<имя_топика>"
  partitions         = <количество_разделов>
  replication_factor = <фактор_репликации>
  topic_config {
    compression_type = "<тип_сжатия>"
    flush_messages   = <максимальное_число_сообщений_в_памяти>
    ...
  }
}

  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Чтобы изменить настройки топика, воспользуйтесь методом REST API update для ресурса Topic или вызовом gRPC API TopicService/Update и передайте в запросе:

Важно

Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

Получить список топиков в кластере

  1. В консоли управления перейдите в нужный каталог.
  2. В списке сервисов выберите Managed Service for Kafka.
  3. Нажмите на имя нужного кластера и перейдите на вкладку Топики.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список топиков, выполните следующую команду:

yc managed-kafka topic list --cluster-name <имя_кластера>

Чтобы получить список топиков в кластере, воспользуйтесь методом REST API list для ресурса Topic или вызовом gRPC API TopicService/List и передайте в запросе идентификатор требуемого кластера в параметре clusterId.

Чтобы узнать идентификатор кластера, получите список кластеров в каталоге.

Получить детальную информацию о топике

  1. В консоли управления перейдите в нужный каталог.
  2. В списке сервисов выберите Managed Service for Kafka.
  3. Нажмите на имя нужного кластера и перейдите на вкладку Топики.
  4. Нажмите на имя нужного топика.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить детальную информацию о топике, выполните следующую команду:

yc managed-kafka topic get <имя_топика> --cluster-name <имя_кластера>

Чтобы получить детальную информацию о топике, воспользуйтесь методом REST API get для ресурса Topic или вызовом gRPC API TopicService/Get и передайте в запросе:

Импортировать топик в Terraform

С помощью импорта вы можете передать существующие в кластере топики под управление Terraform.

  1. Укажите в конфигурационном файле Terraform топик, который необходимо импортировать:

    resource "yandex_mdb_kafka_topic" "<имя_топика>" {}

  2. Выполните команду для импорта топика:

    terraform import yandex_mdb_kafka_topic.<имя_топика> <идентификатор_кластера>:<имя_топика>

    Подробнее об импорте топиков см. в документации провайдера Terraform.

Удалить топик

Примечание

Выданные пользователю права на доступ к топику сохраняются после его удаления . Если после удаления вы не отзывали права, то при создании топика с тем же именем пользователь сможет работать с ним без переназначения прав.

  1. В консоли управления перейдите в нужный каталог.
  2. В списке сервисов выберите Managed Service for Kafka.
  3. Нажмите на имя нужного кластера и перейдите на вкладку Топики.
  4. Нажмите значок для нужного топика и выберите пункт Удалить топик.
  5. В открывшемся окне нажмите кнопку Удалить.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы удалить топик:

  1. Посмотрите описание команды CLI для изменения топиков:

    yc managed-kafka topic delete --help

  2. Удалите топик:

    yc managed-kafka topic delete <имя_топика> --cluster-name <имя_кластера>

  1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

    О том, как создать такой файл, см. в разделе Создание кластера.

  2. Удалите ресурс yandex_mdb_kafka_topic с описанием нужного топика.

  3. Проверьте корректность настроек.

    1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

    2. Выполните команду:

      terraform validate

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

  4. Подтвердите изменение ресурсов.

    1. Выполните команду для просмотра планируемых изменений:

      terraform plan

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

    2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

        terraform apply

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Чтобы удалить топик, воспользуйтесь методом REST API delete для ресурса Topic или вызовом gRPC API TopicService/Delete и передайте в запросе:

Управление топиками через Admin API Apache Kafka®

Чтобы управлять топиками через Admin API Apache Kafka®:

  1. Создайте в кластере пользователя-администратора с ролью ACCESS_ROLE_ADMIN.
  2. Управляйте топиками от имени этого пользователя с помощью запросов к Admin API Apache Kafka®. О работе с Admin API читайте в документации выбранного языка программирования.

Подробнее о работе с Admin API и о действующих ограничениях читайте в разделе Управление топиками и разделами и в документации Apache Kafka®.

Предыдущая
Примеры кода
Следующая
Управление пользователями