Техническое обслуживание кластера Apache Hive™ Metastore

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом MaintenanceService.List и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/metastore/v1/maintenance_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
           "cloud_id": "<идентификатор_облака>"
         }' \
     metastore.api.cloud.yandex.net:443 \
     yandex.cloud.metastore.v1.MaintenanceService.List
   

   О том, как получить идентификатор облака, читайте в инструкции.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом MaintenanceService.List и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/metastore/v1/maintenance_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
           "folder_id": "<идентификатор_каталога>"
         }' \
     metastore.api.cloud.yandex.net:443 \
     yandex.cloud.metastore.v1.MaintenanceService.List
   

   О том, как получить идентификатор каталога, читайте в инструкции.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Maintenance.List и выполните запрос, например с помощью cURL:

   curl \
   --request GET \
   --header "Authorization: Bearer $IAM_TOKEN" \
   --url 'https://metastore.api.cloud.yandex.net/managed-metastore/v1/maintenances?resourceId=<идентификатор_кластера>'
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом MaintenanceService.List и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/metastore/v1/maintenance_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
           "resource_id": "<идентификатор_кластера>"
         }' \
     metastore.api.cloud.yandex.net:443 \
     yandex.cloud.metastore.v1.MaintenanceService.List
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом MaintenanceService.Get и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/metastore/v1/maintenance_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
           "maintenance_id": "<идентификатор_обслуживания>"
         }' \
     metastore.api.cloud.yandex.net:443 \
     yandex.cloud.metastore.v1.MaintenanceService.Get
   

   Идентификатор обслуживания можно запросить со списком обслуживаний в облаке, каталоге или кластере.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Чтобы перенести обслуживание на новую дату и время:

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Maintenance.Reschedule и выполните запрос, например с помощью cURL:

   curl \
   --request POST \
   --header "Authorization: Bearer $IAM_TOKEN" \
   --header "Content-Type: application/json" \
   --url 'https://metastore.api.cloud.yandex.net/managed-metastore/v1/maintenances/<идентификатор_обслуживания>:reschedule' \
   --data '{
               "rescheduleType": "<тип_переноса>",
               "scheduledAt": "<временная_метка>"
           }'
   

   Где rescheduleType — тип переноса, принимает одно из двух значений:

   • NEXT_AVAILABLE_WINDOW — перенести обслуживание на ближайшее окно;
   • SPECIFIC_TIME — перенести обслуживание на определенную дату и время.

   Временная метка должна иметь формат RFC-3339, например: 2006-01-02T15:04:05Z. При выборе типа переноса NEXT_AVAILABLE_WINDOW параметр scheduledAt указывать не нужно.

   Идентификатор обслуживания можно запросить со списком обслуживаний в облаке, каталоге или кластере.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом MaintenanceService.Reschedule и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/metastore/v1/maintenance_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
           "maintenance_id": "<идентификатор_обслуживания>",
           "reschedule_type": "<тип_переноса>",
           "scheduled_at": "<временная_метка>"
         }' \
     metastore.api.cloud.yandex.net:443 \
     yandex.cloud.metastore.v1.MaintenanceService.Reschedule
   

   Где reschedule_type — тип переноса, принимает одно из двух значений:

   • NEXT_AVAILABLE_WINDOW — перенести обслуживание на ближайшее окно;
   • SPECIFIC_TIME — перенести обслуживание на определенную дату и время.

   Временная метка должна иметь формат RFC-3339, например: 2006-01-02T15:04:05Z. При выборе типа переноса NEXT_AVAILABLE_WINDOW параметр scheduled_at указывать не нужно.

   Идентификатор обслуживания можно запросить со списком обслуживаний в облаке, каталоге или кластере.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Maintenance.Reschedule и выполните запрос, например с помощью cURL:

   curl \
   --request POST \
   --header "Authorization: Bearer $IAM_TOKEN" \
   --header "Content-Type: application/json" \
   --url 'https://metastore.api.cloud.yandex.net/managed-metastore/v1/maintenances/<идентификатор_обслуживания>:reschedule' \
   --data '{
               "rescheduleType": "IMMEDIATE"
           }'
   

   Идентификатор обслуживания можно запросить со списком обслуживаний в облаке, каталоге или кластере.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом MaintenanceService.Reschedule и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/metastore/v1/maintenance_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
           "maintenance_id": "<идентификатор_обслуживания>",
           "reschedule_type": "IMMEDIATE"
         }' \
     metastore.api.cloud.yandex.net:443 \
     yandex.cloud.metastore.v1.MaintenanceService.Reschedule
   

   Идентификатор обслуживания можно запросить со списком обслуживаний в облаке, каталоге или кластере.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Чтобы настроить окно обслуживания:

1. Посмотрите описание команды CLI для изменения настроек кластера:

   yc managed-metastore cluster update --help
   

2. Настройте окно обслуживания:

   yc managed-metastore cluster update <имя_или_идентификатор_кластера> \
     --maintenance-window type=<тип_технического_обслуживания>,`
                         `day=<день_недели>,`
                         `hour=<порядковый_номер_часового_интервала>
   

   Где:

   • <имя_или_идентификатор_кластера> — имя или идентификатор кластера, которые можно получить со списком кластеров в каталоге.

   • --maintenance-window — настройки времени технического обслуживания (в т. ч. для выключенных кластеров), где type — тип технического обслуживания:

     • anytime (по умолчанию) — в любое время.

     • weekly — по расписанию. Для этого значения дополнительно укажите:

       • day — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.

       • hour — порядковый номер часового интервала по UTC: от 1 до 24.

         Например, 1 соответствует интервалу с 00:00 до 01:00, 5 — с 04:00 до 05:00.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   Как создать такой файл, читайте в разделе Создание кластера.

   Полный список доступных для изменения полей конфигурации кластера Apache Hive™ Metastore вы найдете в документации провайдера Terraform.

2. Чтобы настроить окно обслуживания, добавьте к описанию кластера блок maintenance_window:

   resource "yandex_metastore_cluster" "<локальное_имя_кластера>" {
     ...
     maintenance_window = {
       type = "<тип_технического_обслуживания>"
       day  = "<день_недели>"
       hour = <порядковый_номер_часового_интервала>
     }
     ...
   }
   

   Где:

   • type — тип технического обслуживания. Принимает значения:

     • ANYTIME — в любое время.
     • WEEKLY — по расписанию.

   • day — день недели для типа WEEKLY: MON, TUE, WED, THU, FRI, SAT или SUN.

   • hour — порядковый номер часового интервала по UTC для типа WEEKLY: от 1 до 24.

     Например, 1 соответствует интервалу с 00:00 до 01:00, 5 — с 04:00 до 05:00.

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.Update и выполните запрос, например с помощью cURL:

   curl \
     --request PATCH \
     --header "Authorization: Bearer $IAM_TOKEN" \
     --header "Content-Type: application/json" \
     --url 'https://metastore.api.cloud.yandex.net/managed-metastore/v1/clusters/<идентификатор_кластера>' \
     --data '{
              "updateMask": "maintenanceWindow",
              "maintenanceWindow": {
                "weeklyMaintenanceWindow": {
                  "day": "<день_недели>",
                  "hour": "<порядковый_номер_часового_интервала>"
                }
              }
            }'
   

   Где:

   • <идентификатор_кластера> — идентификатор кластера, который можно получить со списком кластеров в каталоге.

   • updateMask — перечень изменяемых параметров в строку через запятую.

     В этом примере передается только один параметр maintenanceWindow.

     Важно

     Все настройки изменяемого объекта в кластере, которые не были явно переданы в запросе, будут переопределены на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask.

   • maintenanceWindow — настройки времени технического обслуживания (в т. ч. для выключенных кластеров). В maintenanceWindow передайте один из двух параметров:

     • anytime — техническое обслуживание происходит в произвольное время.

     • weeklyMaintenanceWindow — техническое обслуживание происходит раз в неделю, в указанное время:

       • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.

       • hour — порядковый номер часового интервала по UTC: от 1 до 24.

         Например, 1 соответствует интервалу с 00:00 до 01:00, 5 — с 04:00 до 05:00.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService.Update и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/metastore/v1/cluster_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d '{
          "cluster_id": "<идентификатор_кластера>",
          "update_mask": {
            "paths": [
              "maintenance_window"
            ]
          },
          "maintenance_window": {
            "weekly_maintenance_window": {
              "day": "<день_недели>",
              "hour": "<порядковый_номер_часового_интервала>"
            }
          }
        }' \
     metastore.api.cloud.yandex.net:443 \
     yandex.cloud.metastore.v1.ClusterService.Update \
   

   Где:

   • cluster_id — идентификатор кластера, который можно получить со списком кластеров в каталоге.

   • update_mask — перечень изменяемых параметров в виде массива строк paths[].

     Формат перечисления настроек

     "update_mask": {
       "paths": [
         "<настройка_1>",
         "<настройка_2>",
         ...
         "<настройка_N>"
       ]
     }
     

     В этом примере передается только один параметр maintenance_window.

     Важно

     Все настройки изменяемого объекта в кластере, которые не были явно переданы в запросе, будут переопределены на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask.

   • maintenance_window — настройки времени технического обслуживания (в т. ч. для выключенных кластеров). В maintenance_window передайте один из двух параметров:

     • anytime — техническое обслуживание происходит в произвольное время.

     • weekly_maintenance_window — техническое обслуживание происходит раз в неделю, в указанное время:

       • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN.

       • hour — порядковый номер часового интервала по UTC: от 1 до 24.

         Например, 1 соответствует интервалу с 00:00 до 01:00, 5 — с 04:00 до 05:00.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.