Изменение кластера Apache Hive™ Metastore

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы изменить настройки кластера Apache Hive™ Metastore:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-metastore cluster update --help
   

2. Передайте список настроек, которые хотите изменить, в команде изменения кластера:

   yc managed-metastore cluster update <имя_или_идентификатор_кластера> \
      --new-name <имя_кластера> \
      --description <описание_кластера> \
      --labels <список_меток> \
      --service-account-id <идентификатор_сервисного_аккаунта> \
      --version <версия_Apache_Hive™_Metastore> \
      --security-group-ids <идентификаторы_групп_безопасности> \
      --resource-preset-id <идентификатор_вычислительных_ресурсов> \
      --maintenance-window type=<тип_технического_обслуживания>,`
                           `day=<день_недели>,`
                           `hour=<час_дня> \
      --deletion-protection \
      --log-enabled \
      --log-folder-id <идентификатор_каталога> \
      --log-min-level <уровень_логирования>
   

   Где:

   • --new-name — новое имя кластера.

   • --description — описание кластера.

   • --labels — список меток. Метки задаются в формате <ключ>=<значение>.

   • --service-account-id — идентификатор сервисного аккаунта.

   • --version — версия Apache Hive™ Metastore.

     Доступны версии 3.1 и 4.0.

     Важно

     Для интеграции кластера Apache Hive™ Metastore с сервисами Yandex Managed Service for Trino и Yandex Managed Service for Apache Spark™ требуется версия 3.1.

     При необходимости версию 3.1 можно повысить до 4.0, но понизить версию 4.0 до 3.1 невозможно.

   • --security-group-ids — список идентификаторов групп безопасности.

   • --resource-preset-id — конфигурация вычислительных ресурсов.

   • --maintenance-window — настройки времени технического обслуживания (в т. ч. для выключенных кластеров), где type — тип технического обслуживания:

     • anytime (по умолчанию) — в любое время.
     • weekly — по расписанию. Для этого значения дополнительно укажите:
       • day — день недели: MON, TUE, WED, THU, FRI, SAT или SUN.
       • hour — час дня по UTC: от 1 до 24.

   • --deletion-protection — включает защиту кластера от непреднамеренного удаления.

   • Параметры логирования:

     • --log-enabled — включает логирование. Логи, сгенерированные компонентами Apache Hive™ Metastore, будут отправляться в Yandex Cloud Logging.

     • --log-folder-id — идентификатор каталога. Логи будут записываться в лог-группу по умолчанию для этого каталога.

     • --log-group-id — идентификатор пользовательской лог-группы. Логи будут записываться в нее.

       Укажите один из двух параметров: --log-folder-id либо --log-group-id.

     • --log-min-level — минимальный уровень логирования. Возможные значения: TRACE, DEBUG, INFO (значение по умолчанию), WARN, ERROR и FATAL.

   Идентификатор и имя кластера можно запросить со списком кластеров в каталоге.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Создайте файл body.json и добавьте в него следующее содержимое:

   {
     "updateMask": "<список_изменяемых_параметров>",
     "name": "<имя_кластера>",
     "description": "<описание_кластера>",
     "labels": { "<список_меток>" },
     "deletionProtection": <защита_от_удаления>,
     "version": "<версия_Apache_Hive™_Metastore>",
     "configSpec": {
       "resources": {
       "resourcePresetId": "<идентификатор_конфигурации_ресурсов>"
       }
     },
     "serviceAccountId": "<идентификатор_сервисного_аккаунта>",
     "logging": {
       "enabled": <использование_логирования>,
       "folderId": "<идентификатор_каталога>",
       "minLevel": "<уровень_логирования>"
     },
     "networkSpec": {
       "securityGroupIds": [ "<список_идентификаторов_групп_безопасности>" ]
     },
     "maintenanceWindow": {
       "weeklyMaintenanceWindow": {
       "day": "<день_недели>",
       "hour": "<час>"
       }
     }
   }
   

   Где:

   • updateMask — перечень изменяемых параметров в одну строку через запятую.

     Важно

     При изменении кластера все параметры изменяемого объекта, которые не были явно переданы в запросе, будут переопределены на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask.

   • name — имя кластера.

   • description — описание кластера.

   • labels — список меток. Метки задаются в формате "<ключ>": "<значение>".

   • deletionProtection — позволяет включить защиту кластера от непреднамеренного удаления. Возможные значения: true или false.

   • version — версия Apache Hive™ Metastore.

     Доступны версии 3.1 и 4.0.

     Важно

     Для интеграции кластера Apache Hive™ Metastore с сервисами Yandex Managed Service for Trino и Yandex Managed Service for Apache Spark™ требуется версия 3.1.

     При необходимости версию 3.1 можно повысить до 4.0, но понизить версию 4.0 до 3.1 невозможно.

   • configSpec.resources.resourcePresetId — конфигурация вычислительных ресурсов.

   • serviceAccountId — идентификатор сервисного аккаунта.

   • logging — параметры логирования:

     • enabled — позволяет включить логирование. Логи, сгенерированные компонентами Apache Hive™ Metastore, будут отправляться в Yandex Cloud Logging. Возможные значения: true или false.

     • folderId — идентификатор каталога. Логи будут записываться в лог-группу по умолчанию для этого каталога.

     • logGroupId — идентификатор пользовательской лог-группы. Логи будут записываться в нее.

       Укажите один из двух параметров: folderId либо logGroupId.

     • minLevel — минимальный уровень логирования. Возможные значения: TRACE, DEBUG, INFO, WARN, ERROR и FATAL.

   • networkSpec — сетевые настройки:

     • securityGroupIds — список идентификаторов групп безопасности.

   • maintenanceWindow — настройки времени технического обслуживания (в т. ч. для выключенных кластеров). В maintenanceWindow передайте один из двух параметров:

     • anytime — техническое обслуживание происходит в произвольное время.

     • weeklyMaintenanceWindow — техническое обслуживание происходит раз в неделю, в указанное время:

       • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN;
       • hour — час дня по UTC в формате HH: от 1 до 24.

3. Воспользуйтесь методом Cluster.Update и выполните запрос, например с помощью cURL:

   curl \
       --request PATCH \
       --header "Authorization: Bearer $IAM_TOKEN" \
       --url 'https://metastore.api.cloud.yandex.net/managed-metastore/v1/clusters/<идентификатор_кластера>' \
       --data '@body.json'
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Создайте файл body.json и добавьте в него следующее содержимое:

   {
     "cluster_id": "<идентификатор_кластера>",
     "update_mask": "<список_изменяемых_параметров>",
     "name": "<имя_кластера>",
     "description": "<описание_кластера>",
     "labels": "{ <список_меток> }",
     "deletion_protection": <защита_от_удаления>,
     "version": "<версия_Apache_Hive™_Metastore>",
     "config_spec": {
       "resources": {
         "resource_preset_id": "<идентификатор_конфигурации_ресурсов>"
       }
     },
     "service_account_id": "<идентификатор_сервисного_аккаунта>",
     "logging": {
       "enabled": <использование_логирования>,
       "folder_id": "<идентификатор_каталога>",
       "min_level": "<уровень_логирования>"
     },
     "network_spec": {
       "security_group_ids": [ "<список_идентификаторов_групп_безопасности>" ]
     },
     "maintenance_window": {
       "weekly_maintenance_window": {
         "day": "<день_недели>",
         "hour": "<час>"
       }
     }
   }
   

   Где:

   • cluster_id — идентификатор кластера. Его можно запросить со списком кластеров в каталоге.

   • update_mask — перечень изменяемых параметров в виде массива строк paths[].

     Формат перечисления настроек

     "update_mask": {
         "paths": [
             "<настройка_1>",
             "<настройка_2>",
             ...
             "<настройка_N>"
         ]
     }
     

     Важно

     При изменении кластера все параметры изменяемого объекта, которые не были явно переданы в запросе, будут переопределены на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask.

   • name — имя кластера.

   • description — описание кластера.

   • labels — список меток. Метки задаются в формате "<ключ>": "<значение>".

   • deletion_protection — позволяет включить защиту кластера от непреднамеренного удаления. Возможные значения: true или false.

   • version — версия Apache Hive™ Metastore.

     Доступны версии 3.1 и 4.0.

     Важно

     Для интеграции кластера Apache Hive™ Metastore с сервисами Yandex Managed Service for Trino и Yandex Managed Service for Apache Spark™ требуется версия 3.1.

     При необходимости версию 3.1 можно повысить до 4.0, но понизить версию 4.0 до 3.1 невозможно.

   • config_spec.resources.resource_preset_id — конфигурация вычислительных ресурсов.

   • service_account_id — идентификатор сервисного аккаунта.

   • logging — параметры логирования:

     • enabled — позволяет включить логирование. Логи, сгенерированные компонентами Apache Hive™ Metastore, будут отправляться в Yandex Cloud Logging. Возможные значения: true или false.

     • folder_id — идентификатор каталога. Логи будут записываться в лог-группу по умолчанию для этого каталога.

     • log_group_id — идентификатор пользовательской лог-группы. Логи будут записываться в нее.

       Укажите один из двух параметров: folder_id либо log_group_id.

     • min_level — минимальный уровень логирования. Возможные значения: TRACE, DEBUG, INFO, WARN, ERROR и FATAL.

   • network_spec — сетевые настройки:

     • security_group_ids — список идентификаторов групп безопасности.

   • maintenance_window — настройки времени технического обслуживания (в т. ч. для выключенных кластеров). В maintenance_window передайте один из двух параметров:

     • anytime — техническое обслуживание происходит в произвольное время.

     • weekly_maintenance_window — техническое обслуживание происходит раз в неделю, в указанное время:

       • day — день недели в формате DDD: MON, TUE, WED, THU, FRI, SAT или SUN;
       • hour — час дня по UTC в формате HH: от 1 до 24.

4. Воспользуйтесь вызовом ClusterService.Update и выполните запрос, например с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/metastore/v1/cluster_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d @ \
       metastore.api.cloud.yandex.net:443 \
       yandex.cloud.metastore.v1.ClusterService.Update \
       < body.json
   

5. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.