Техническое обслуживание кластера Apache Kafka®

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы перенести обслуживание на другую дату и время:

1. Посмотрите описание команды CLI для переноса обслуживания:

   yc managed-kafka cluster reschedule-maintenance --help
   

2. Выполните команду:

   yc managed-kafka cluster reschedule-maintenance <имя_или_идентификатор_кластера> \
     --reschedule-type <тип_переноса> \
     --delayed-until <временная_метка>
   

   Где:

   • reschedule-type — тип переноса:

     • next-available-window — ближайшее доступное окно;
     • specific-time — конкретная дата и время.

   • delayed-until — временная метка (не используется с типом переноса next-available-window).

     Временная метка должна иметь один из следующих форматов:

     • RFC-3339;
     • ЧЧ:ММ:СС;
     • относительное время, на которое нужно перенести обслуживание.

     Примеры: 2006-01-02T15:04:05Z, 15:04:05, 2h или 3h30m ago.

   Имя и идентификатор кластера можно получить со списком кластеров в каталоге.

Чтобы перенести обслуживание на другую дату и время:

1. Получите IAM-токен для аутентификации в API.

2. Поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

3. Воспользуйтесь методом Cluster.rescheduleMaintenance и выполните запрос, например с помощью cURL:

   curl \
     --request POST \
     --header "Authorization: Bearer $IAM_TOKEN" \
     --header "Content-Type: application/json" \
     --url 'https://mdb.api.cloud.yandex.net/managed-kafka/v1/clusters/<идентификатор_кластера>:rescheduleMaintenance' \
     --data '{
       "rescheduleType": <тип_переноса>,
       "delayedUntil": <временная_метка>
     }'
   

   Где:

   • rescheduleType — тип переноса:

     • NEXT_AVAILABLE_WINDOW — ближайшее доступное окно.
     • SPECIFIC_TIME — конкретная дата и время.

   • delayedUntil — временная метка в формате RFC-3339. Например, 2006-01-02T15:04:05Z.

     Параметр не используется с типом переноса NEXT_AVAILABLE_WINDOW.

   Идентификатор кластера можно получить со списком кластеров в каталоге.

4. Убедитесь, что запрос выполнен успешно, изучив ответ сервера.

Чтобы перенести обслуживание на новую дату и время:

1. Получите IAM-токен для аутентификации в API.

2. Поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

3. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

4. Воспользуйтесь вызовом ClusterService.RescheduleMaintenance и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/mdb/kafka/v1/cluster_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
       "cluster_id": "<идентификатор_кластера>",
       "reschedule_type": <тип_переноса>,
       "delayed_until": <временная_метка>
     }' \
     mdb.api.cloud.yandex.net:443 \
     yandex.cloud.mdb.kafka.v1.ClusterService.RescheduleMaintenance
   

   Где:

   • reschedule_type — тип переноса:

     • NEXT_AVAILABLE_WINDOW — ближайшее доступное окно;
     • SPECIFIC_TIME — конкретная дата и время.

   • delayedUntil — временная метка в формате RFC-3339. Например, 2006-01-02T15:04:05Z.

     Параметр не используется с типом переноса NEXT_AVAILABLE_WINDOW.

   Идентификатор кластера можно получить со списком кластеров в каталоге.

5. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы провести запланированное обслуживание немедленно:

1. Посмотрите описание команды CLI для переноса обслуживания:

   yc managed-kafka cluster reschedule-maintenance --help
   

2. Выполните команду, указав тип переноса immediate:

   yc managed-kafka cluster reschedule-maintenance <имя_или_идентификатор_кластера> \
     --reschedule-type immediate
   

   Имя и идентификатор кластера можно получить со списком кластеров в каталоге.

Чтобы провести запланированное обслуживание немедленно:

1. Получите IAM-токен для аутентификации в API.

2. Поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

3. Воспользуйтесь методом Cluster.rescheduleMaintenance и выполните запрос, например с помощью cURL:

   curl \
     --request POST \
     --header "Authorization: Bearer $IAM_TOKEN" \
     --header "Content-Type: application/json" \
     --url 'https://mdb.api.cloud.yandex.net/managed-kafka/v1/clusters/<идентификатор_кластера>:rescheduleMaintenance' \
     --data '{
       "rescheduleType": "IMMEDIATE"
     }'
   

   Идентификатор кластера можно получить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Чтобы провести запланированное обслуживание немедленно:

1. Получите IAM-токен для аутентификации в API.

2. Поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

3. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

4. Воспользуйтесь вызовом ClusterService.RescheduleMaintenance и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/mdb/kafka/v1/cluster_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
       "cluster_id": "<идентификатор_кластера>",
       "reschedule_type": "IMMEDIATE"
     }' \
     mdb.api.cloud.yandex.net:443 \
     yandex.cloud.mdb.kafka.v1.ClusterService.RescheduleMaintenance
   

   Идентификатор кластера можно получить со списком кластеров в каталоге.

5. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

1. Посмотрите описание команды CLI для изменения окна обслуживания:

   yc managed-kafka cluster update --help
   

2. Выполните команду:

   yc managed-kafka cluster update <имя_или_идентификатор_кластера> \
     --maintenance-window type=<тип_технического_обслуживания>,`
                         `day=<день_недели>,`
                         `hour=<час_дня>
   

   Где type — тип технического обслуживания:

   • anytime (по умолчанию) — в любое время.
   • weekly — по расписанию. Для этого значения дополнительно укажите:
     • day — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.
     • hour — час дня по UTC: от 1 до 24.

   Имя и идентификатор кластера можно получить со списком кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

   Полный список доступных для изменения полей конфигурации кластера Managed Service for Apache Kafka® см. в документации провайдера Terraform.

2. Чтобы настроить время технического обслуживания (в т. ч. для выключенных кластеров), добавьте к описанию кластера блок maintenance_window:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     maintenance_window {
       type = <тип_технического_обслуживания>
       day  = <день_недели>
       hour = <час_дня>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания. Принимает значения:
     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.
   • day — день недели для типа WEEKLY: MON, TUE, WED, THU, FRI, SAT или SUN.
   • hour — час дня по UTC для типа WEEKLY: от 1 до 24.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

   Ограничения по времени

   Провайдер Terraform ограничивает время на выполнение всех операций с кластером Managed Service for Apache Kafka® 60 минутами.

   Операции, длящиеся дольше указанного времени, прерываются.

   Как изменить эти ограничения?

   Добавьте к описанию кластера блок timeouts, например:

   resource "yandex_mdb_kafka_cluster" "<имя_кластера>" {
     ...
     timeouts {
       create = "1h30m" # Полтора часа
       update = "2h"    # 2 часа
       delete = "30m"   # 30 минут
     }
   }
   

1. Получите IAM-токен для аутентификации в API.

2. Поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

3. Воспользуйтесь методом Cluster.Update и выполните запрос, например с помощью cURL:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

   curl \
     --request PATCH \
     --header "Authorization: Bearer $IAM_TOKEN" \
     --header "Content-Type: application/json" \
     --url 'https://mdb.api.cloud.yandex.net/managed-kafka/v1/clusters/<идентификатор_кластера>' \
     --data '{
       "updateMask": "maintenanceWindow",
       "maintenanceWindow": {
         "weeklyMaintenanceWindow": {
           "day": "<день_недели>",
           "hour": "<час_дня>"
         }
       }
     }'
   

   Где:

   • updateMask — перечень изменяемых параметров одной строкой через запятую.

     В данном случае передается только один параметр.

   • maintenanceWindow — настройки времени технического обслуживания, в том числе для выключенных кластеров. Возможные значения:

     • anytime — техническое обслуживание проводится в произвольное время;

     • weeklyMaintenanceWindow — техническое обслуживание проводится раз в неделю, в указанный день и час:

       • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN;
       • hour — час дня по UTC в формате HH: от 1 до 24.

   Идентификатор кластера можно получить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API.

2. Поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

3. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

4. Воспользуйтесь вызовом ClusterService.Update и выполните запрос, например с помощью gRPCurl:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask (в виде массива строк paths[]).

   Формат перечисления настроек

   "update_mask": {
       "paths": [
           "<настройка_1>",
           "<настройка_2>",
           ...
           "<настройка_N>"
       ]
   }
   

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/mdb/kafka/v1/cluster_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
       "cluster_id": "<идентификатор_кластера>",
       "update_mask": {
         "paths": ["maintenance_window"]
       },
       "maintenance_window": {
         "weekly_maintenance_window": {
           "day": "<день_недели>",
           "hour": "<час>"
         }
       }
     }' \
     mdb.api.cloud.yandex.net:443 \
     yandex.cloud.mdb.kafka.v1.ClusterService.Update
   

   Где:

   • update_mask — перечень изменяемых параметров в виде массива строк paths[].

     В данном случае передается только один параметр.

   • maintenance_window — настройки времени технического обслуживания, в том числе для выключенных кластеров. Возможные значения:

     • anytime — техническое обслуживание проводится в произвольное время;

     • weekly_maintenance_window — техническое обслуживание проводится раз в неделю, в указанный день и час:

       • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN;
       • hour — час дня по UTC в формате HH: от 1 до 24.

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

5. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.