Обновление версии Apache Airflow™ и Python

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы обновить версию Apache Airflow™ или Python:

1. Получите список ваших кластеров Managed Service for Apache Airflow™:

   yc managed-airflow cluster list
   

2. Получите информацию о нужном кластере и проверьте версии в свойствах config.airflow_version и config.python_version:

   yc managed-airflow cluster get <имя_или_идентификатор_кластера>
   

3. Чтобы обновить версию Apache Airflow™, выполните команду:

   yc managed-airflow cluster update <имя_или_идентификатор_кластера> \
     --airflow-version=<номер_новой_версии>
   

4. Чтобы обновить версию Python, выполните команду:

   yc managed-airflow cluster update <имя_или_идентификатор_кластера> \
     --python-version=<номер_новой_версии>
   

Чтобы обновить версию Apache Airflow™ или Python:

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

   О том, как создать такой файл, см. в разделе Создание кластера.

2. Добавьте к описанию кластера параметр airflow_version или python_version или измените его значение, если он уже существует:

   resource "yandex_airflow_cluster" "<имя_кластера>" {
     ...
     airflow_version = "<версия_Apache_Airflow™>"
     python_version  = "<версия_Python>"
   }
   

3. Проверьте корректность настроек.

   1. В командной строке перейдите в каталог, в котором расположены актуальные конфигурационные файлы Terraform с планом инфраструктуры.

   2. Выполните команду:

      terraform validate
      

      Если в файлах конфигурации есть ошибки, Terraform на них укажет.

4. Подтвердите изменение ресурсов.

   1. Выполните команду для просмотра планируемых изменений:

      terraform plan
      

      Если конфигурации ресурсов описаны верно, в терминале отобразится список изменяемых ресурсов и их параметров. Это проверочный этап: ресурсы не будут изменены.

   2. Если вас устраивают планируемые изменения, внесите их:

      1. Выполните команду:

         terraform apply
         

      2. Подтвердите изменение ресурсов.

      3. Дождитесь завершения операции.

Подробнее см. в документации провайдера Terraform.

Чтобы обновить версию Apache Airflow™ или Python:

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Воспользуйтесь методом Cluster.Update и выполните запрос, например с помощью cURL.

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре updateMask (одной строкой через запятую).

   • Чтобы обновить версию Apache Airflow™, выполните запрос:

     curl \
         --request PATCH \
         --header "Authorization: Bearer $IAM_TOKEN" \
         --header "Content-Type: application/json" \
         --url 'https://airflow.api.cloud.yandex.net/managed-airflow/v1/clusters/<идентификатор_кластера>' \
         --data '{
                   "updateMask": "airflowVersion",
                   "airflowVersion": "<версия_Apache_Airflow™>"
                 }'
     

     Где:

     • updateMask — перечень изменяемых параметров. Укажите только параметр airflowVersion.

     • airflowVersion — версия Apache Airflow™, до которой нужно обновиться.

     Идентификатор кластера можно запросить со списком кластеров в каталоге.

   • Чтобы обновить версию Python, выполните запрос:

     curl \
         --request PATCH \
         --header "Authorization: Bearer $IAM_TOKEN" \
         --header "Content-Type: application/json" \
         --url 'https://airflow.api.cloud.yandex.net/managed-airflow/v1/clusters/<идентификатор_кластера>' \
         --data '{
                   "updateMask": "pythonVersion",
                   "pythonVersion": "<версия_Python>"
                 }'
     

     Где:

     • updateMask — перечень изменяемых параметров. Укажите только параметр pythonVersion.

     • pythonVersion — версия Python, до которой нужно обновиться.

     Идентификатор кластера можно запросить со списком кластеров в каталоге.

3. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Чтобы обновить версию Apache Airflow™ или Python:

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом ClusterService/Update и выполните запрос, например с помощью gRPCurl:

   Важно

   Метод API переопределит все параметры изменяемого объекта, которые не были явно переданы в запросе, на значения по умолчанию. Чтобы избежать этого, перечислите настройки, которые вы хотите изменить, в параметре update_mask (в виде массива строк paths[]).

   Формат перечисления настроек

   "update_mask": {
       "paths": [
           "<настройка_1>",
           "<настройка_2>",
           ...
           "<настройка_N>"
       ]
   }
   

   • Чтобы обновить версию Apache Airflow™, выполните запрос:

     grpcurl \
         -format json \
         -import-path ~/cloudapi/ \
         -import-path ~/cloudapi/third_party/googleapis/ \
         -proto ~/cloudapi/yandex/cloud/airflow/v1/cluster_service.proto \
         -rpc-header "Authorization: Bearer $IAM_TOKEN" \
         -d '{
               "cluster_id": "<идентификатор_кластера>",
               "update_mask": {
                 "paths": [
                   "airflow_version"
                 ]
               },
               "airflow_version": "<версия_Apache_Airflow™>"
             }' \
         airflow.api.cloud.yandex.net:443 \
         yandex.cloud.airflow.v1.ClusterService.Update
     

     Где:

     • update_mask — перечень изменяемых параметров. Укажите только параметр airflow_version.

     • airflow_version — версия Apache Airflow™, до которой нужно обновиться.

     Идентификатор кластера можно запросить со списком кластеров в каталоге.

   • Чтобы обновить версию Python, выполните запрос:

     grpcurl \
         -format json \
         -import-path ~/cloudapi/ \
         -import-path ~/cloudapi/third_party/googleapis/ \
         -proto ~/cloudapi/yandex/cloud/airflow/v1/cluster_service.proto \
         -rpc-header "Authorization: Bearer $IAM_TOKEN" \
         -d '{
               "cluster_id": "<идентификатор_кластера>",
               "update_mask": {
                 "paths": [
                   "python_version"
                 ]
               },
               "python_version": "<версия_Python>"
             }' \
         airflow.api.cloud.yandex.net:443 \
         yandex.cloud.airflow.v1.ClusterService.Update
     

     Где:

     • update_mask — перечень изменяемых параметров. Укажите только параметр python_version.

     • python_version — версия Python, до которой нужно обновиться.

     Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

1. Откройте актуальный конфигурационный файл Terraform с планом инфраструктуры.

2. В описании кластера укажите в поле airflow_version значение 2.11:

   resource "yandex_airflow_cluster" "<имя_кластера>" {
     ...
     airflow_version = "2.11"
     ...
   }
   

3. Примените изменения:

   terraform apply
   

4. В поле python_version укажите значение 3.12:

   resource "yandex_airflow_cluster" "<имя_кластера>" {
     ...
     python_version = "3.12"
     ...
   }
   

5. Примените изменения еще раз:

   terraform apply