Обновление версии Apache Kafka®
Примечание
С 1 марта 2025 года будет прекращена поддержка Apache Kafka® версий 2.8, 3.0, 3.1, 3.2 и 3.3. Создать кластер с этими версиями будет невозможно. Рекомендуется заранее обновить кластеры до версии 3.5.
Вы можете обновить кластер Managed Service for Apache Kafka® до версии 3.5 или ниже. Обновление до версии 3.6 и выше не поддерживается, но можно создать кластер с одной из таких версий.
Рекомендуется обновлять версию Apache Kafka® поэтапно, без пропуска версий. Например, обновление версии с 2.8 до 3.1 выполняется в такой последовательности: 2.8 → 3.0 → 3.1.
Об обновлениях в рамках одной версии и обслуживании хостов см. в разделе Техническое обслуживание.
Перед обновлением версии
Убедитесь, что это не нарушит работу ваших приложений — изучите историю изменений
Обновить кластер
Внимание
После обновления версии Apache Kafka® вернуть кластер к предыдущей версии невозможно.
Во время обновления топики могут быть недоступны, если их фактор репликации равен единице.
- Перейдите на страницу каталога и выберите сервис Managed Service for Kafka.
- В строке с нужным кластером нажмите на значок
, затем выберите Редактировать. - В поле Версия выберите номер новой версии.
- Нажмите кнопку Сохранить.
Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.
По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name
или --folder-id
.
-
Получите список ваших кластеров Managed Service for Apache Kafka®:
yc managed-kafka cluster list
-
Получите информацию о нужном кластере и проверьте версию в свойстве
config.version
:yc managed-kafka cluster get <имя_или_идентификатор_кластера>
-
Запустите обновление Apache Kafka®:
yc managed-kafka cluster update <имя_или_идентификатор_кластера> \ --version=<номер_новой_версии>
-
Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.
О том, как создать такой файл, см. в разделе Создание кластера.
-
Добавьте в блок
config
нужного кластера Managed Service for Apache Kafka® полеversion
(версия Apache Kafka®) или измените его значение, если оно уже существует:resource "yandex_mdb_kafka_cluster" "<имя_кластера>" { ... config { version = "<версия>" } }
-
Проверьте корректность настроек.
-
В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.
-
Выполните команду:
terraform validate
Если в файлах конфигурации есть ошибки, Terraform на них укажет.
-
-
Подтвердите изменение ресурсов.
-
Выполните команду для просмотра планируемых изменений:
terraform plan
Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.
-
Если вас устраивают планируемые изменения, внесите их:
-
Выполните команду:
terraform apply
-
Подтвердите изменение ресурсов.
-
Дождитесь завершения операции.
-
-
Подробнее см. в документации провайдера Terraform
Ограничения по времени
Провайдер Terraform ограничивает время на выполнение всех операций с кластером Managed Service for Apache Kafka® 60 минутами.
Операции, длящиеся дольше указанного времени, прерываются.
Как изменить эти ограничения?
Добавьте к описанию кластера блок timeouts
, например:
resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
...
timeouts {
create = "1h30m" # Полтора часа
update = "2h" # 2 часа
delete = "30m" # 30 минут
}
}
-
Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
export IAM_TOKEN="<IAM-токен>"
-
Воспользуйтесь методом Cluster.update и выполните запрос, например, с помощью cURL
:Важно
Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре
updateMask
(одной строкой через запятую).curl \ --request PATCH \ --header "Authorization: Bearer $IAM_TOKEN" \ --header "Content-Type: application/json" \ -url 'https://mdb.api.cloud.yandex.net/managed-kafka/v1/clusters/<идентификатор_кластера>' \ --data '{ "updateMask": "configSpec.version", "configSpec": { "version": "<версия>" } }'
Где:
-
updateMask
— перечень изменяемых параметров в одну строку через запятую.В данном случае указан только один параметр:
configSpec.version
. -
configSpec.version
— версия Apache Kafka®, до которой нужно обновиться: 2.8, 3.0, 3.1, 3.2, 3.3, 3.4 или 3.5.
Идентификатор кластера можно запросить со списком кластеров в каталоге.
-
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
-
Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:
export IAM_TOKEN="<IAM-токен>"
-
Клонируйте репозиторий cloudapi
:cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
Далее предполагается, что содержимое репозитория находится в директории
~/cloudapi/
. -
Воспользуйтесь вызовом ClusterService/Update и выполните запрос, например, с помощью gRPCurl
:Важно
Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре
update_mask
(в виде массива строкpaths[]
).Формат перечисления настроек
"update_mask": { "paths": [ "<настройка_1>", "<настройка_2>", ... "<настройка_N>" ] }
grpcurl \ -format json \ -import-path ~/cloudapi/ \ -import-path ~/cloudapi/third_party/googleapis/ \ -proto ~/cloudapi/yandex/cloud/mdb/kafka/v1/cluster_service.proto \ -rpc-header "Authorization: Bearer $IAM_TOKEN" \ -d '{ "cluster_id": "<идентификатор_кластера>", "update_mask": { "paths": [ "config_spec.version" ] }, "config_spec": { "version": "<версия>" } }' \ mdb.api.cloud.yandex.net:443 \ yandex.cloud.mdb.kafka.v1.ClusterService.Update
Где:
-
update_mask
— перечень изменяемых параметров в виде массива строкpaths[]
.В данном случае указан только один параметр:
config_spec.version
. -
config_spec.version
— версия Apache Kafka®, до которой нужно обновиться: 2.8, 3.0, 3.1, 3.2, 3.3, 3.4 или 3.5.
Идентификатор кластера можно запросить со списком кластеров в каталоге.
-
-
Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.
Примеры
Допустим, нужно обновить кластер с версии 2.8 до версии 3.0.
-
Чтобы получить список кластеров и узнать их идентификаторы и имена, выполните команду:
yc managed-kafka cluster list
+----------------------+---------------+---------------------+--------+---------+ | ID | NAME | CREATED AT | HEALTH | STATUS | +----------------------+---------------+---------------------+--------+---------+ | c9q8p8j2gaih******** | kafka35 | 2021-10-23 12:44:17 | ALIVE | RUNNING | +----------------------+---------------+---------------------+--------+---------+
-
Чтобы получить информацию о кластере с именем
kafka35
, выполните команду:yc managed-kafka cluster get kafka35
id: c9q8p8j2gaih******** ... config: version: "2.8" ...
-
Для обновления кластера
kafka35
до версии 3.0 выполните команду:yc managed-kafka cluster update kafka35 --version=3.0