Обновление версии Apache Spark™

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Если вы обращаетесь к ресурсу по имени, поиск будет выполнен в каталоге по умолчанию. Если вы обращаетесь к ресурсу по идентификатору, поиск будет выполнен глобально — во всех каталогах с учетом прав доступа.

Чтобы изменить версию Apache Spark™:

1. Посмотрите описание команды CLI для изменения кластера:

   yc managed-spark cluster update --help
   

2. Измените версию, выполнив команду:

   yc managed-spark cluster update <имя_или_идентификатор_кластера> \
     --spark-version <версия_Apache_Spark>
   

   Имя и идентификатор кластера можно получить со списком кластеров в каталоге.

1. Откройте актуальный конфигурационный файл Apache Spark™ с планом инфраструктуры.

   Инструкция по созданию файла описана в разделе Создание кластера.

2. Измените в описании кластера значение параметра spark_version:

   resource "yandex_spark_cluster" "<имя_кластера>" {
     ...
     config = {
       ...
       spark_version = "<версия_Apache_Spark>"
       ...
     }
     ...
   }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Создайте файл body.json и добавьте в него следующее содержимое:

   {
     "cluster_id": "<идентификатор_кластера>",
     "update_mask": {
       "paths": [
         "config_spec.spark_version"
       ]
     },
     "config_spec": {
       "spark_version": "<версия_Apache_Spark>"
     }
   }
   

   Где:

   • cluster_id — идентификатор кластера.

     Идентификатор кластера можно получить со списком кластеров в каталоге.

   • update_mask — перечень изменяемых параметров в виде массива строк paths[].

     Формат перечисления настроек

     "update_mask": {
       "paths": [
         "<настройка_1>",
         "<настройка_2>",
         ...
         "<настройка_N>"
       ]
     }
     

     Важно

     При изменении кластера все параметры изменяемого объекта, которые не были явно переданы в запросе, будут переопределены на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask.

   • spark_version — версия Apache Spark™.

4. Воспользуйтесь вызовом ClusterService.Update и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/spark/v1/cluster_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d @ \
     spark.api.cloud.yandex.net:443 \
     yandex.cloud.spark.v1.ClusterService.Update \
     < body.json
   

5. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Подготовьте окружение с нужной версией Apache Spark™.

2. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

3. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

4. Создайте файл body.json и добавьте в него следующее содержимое:

   {
     "cluster_id": "<идентификатор_кластера>",
     "update_mask": {
       "paths": [
         "config_spec.environment_id"
       ]
     },
     "config_spec": {
       "environment_id": "<идентификатор_окружения>"
     }
   }
   

   Где:

   • cluster_id — идентификатор кластера. Его можно получить со списком кластеров в каталоге;
   • environment_id — идентификатор окружения с нужной версией Apache Spark™. Идентификатор пользовательского окружения можно получить с помощью вызова EnvironmentService/List, базового окружения — с помощью вызова EnvironmentService/ListBase.

5. Воспользуйтесь вызовом ClusterService/Update и выполните запрос, например с помощью gRPCurl:

   grpcurl \
     -format json \
     -import-path ~/cloudapi/ \
     -import-path ~/cloudapi/third_party/googleapis/ \
     -proto ~/cloudapi/yandex/cloud/spark/v1/cluster_service.proto \
     -rpc-header "Authorization: Bearer $IAM_TOKEN" \
     -d @ \
     spark.api.cloud.yandex.net:443 \
     yandex.cloud.spark.v1.ClusterService.Update \
     < body.json
   

6. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.