Управление заданиями PySpark

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом JobService.Create и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/spark/v1/job_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
              "cluster_id": "<идентификатор_кластера>",
              "name": "<имя_задания>",
              "pyspark_job": {
                "args": [
                  <список_аргументов>
                ],
                "jar_file_uris": [
                  <список_путей_к_JAR-файлам>
                ],
                "file_uris": [
                  <список_путей_к_файлам>
                ],
                "archive_uris": [
                  <список_путей_к_архивам>
                ],
                "properties": {
                  <список_свойств>
                },
                "main_python_file_uri": "<путь_к_основному_PY-файлу>",
                "python_file_uris": [
                  <список_путей_к_PY-файлам>
                ],
                "packages": [
                  <список_Maven-координат_пакетов>
                ],
                "repositories": [
                  <URL_репозиториев_для_поиска_пакетов>
                ],
                "exclude_packages": [
                  <список_Maven-координат_исключаемых_пакетов>
                ]
              }
          }' \
       spark.api.yandexcloud.kz:443 \
       yandex.cloud.spark.v1.JobService.Create
   

   Где:

   • name — имя PySpark-задания.

   • spark_job — параметры PySpark-задания:

     • args — аргументы задания.

     • jar_file_uris — пути к используемым JAR-файлам.

     • file_uris — пути к используемым файлам.

     • archive_uris — пути к используемым архивам.

     • properties — свойства компонентов в виде пар "ключ":"значение".

     • main_python_file_uri — путь к основному PY-файлу приложения в формате:

       Размещение файла	Формат пути
       Файловая система инстанса	file:///<путь_к_файлу>
       Бакет Object Storage	s3a://<имя_бакета>/<путь_к_файлу>
       Интернет	http://<путь_к_файлу> или https://<путь_к_файлу>

       Допускается использование архивов стандартных для Linux форматов: zip, gz, xz, bz2 и т. д.

       Сервисному аккаунту кластера необходим доступ на чтение ко всем файлам в бакете. Пошаговые инструкции по настройке доступа к Object Storage приведены в разделе Редактирование ACL бакета.

     • python_file_uris — пути к используемым PY-файлам.

     • packages — Maven-координаты JAR-файлов в формате groupId:artifactId:version.

     • repositories — URL дополнительных репозиториев для поиска пакетов.

     • exclude_packages — Maven-координаты пакетов, которые нужно исключить, в формате groupId:artifactId.

   Идентификатор кластера можно получить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы отменить задание:

1. Посмотрите описание команды CLI для отмены задания:

   yc managed-spark job cancel --help
   

2. Отмените задание, выполнив команду:

   yc managed-spark job cancel <имя_или_идентификатор_задания> \
     --cluster-id <идентификатор_кластера>
   

   Идентификатор кластера можно получить со списком кластеров в каталоге.

   Имя и идентификатор задания можно получить со списком заданий в кластере.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом JobService.Cancel и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/spark/v1/job_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
              "cluster_id": "<идентификатор_кластера>",
              "job_id": "<идентификатор_задания>"
          }' \
       spark.api.yandexcloud.kz:443 \
       yandex.cloud.spark.v1.JobService.Cancel
   

   Идентификатор кластера можно получить со списком кластеров в каталоге, идентификатор задания — со списком заданий в кластере.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы получить список заданий кластера:

1. Посмотрите описание команды CLI для получения списка заданий:

   yc managed-spark job list --help
   

2. Получите список заданий, выполнив команду:

   yc managed-spark job list \
     --cluster-id <идентификатор_кластера>
   

   Идентификатор кластера можно получить со списком кластеров в каталоге.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом JobService.List и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/spark/v1/job_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
              "cluster_id": "<идентификатор_кластера>"
          }' \
       spark.api.yandexcloud.kz:443 \
       yandex.cloud.spark.v1.JobService.List
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы получить информацию о задании:

1. Посмотрите описание команды CLI для получения информации о задании:

   yc managed-spark job get --help
   

2. Получите информацию о задании, выполнив команду:

   yc managed-spark job get <идентификатор_задания> \
     --cluster-id <идентификатор_кластера>
   

   Идентификатор кластера можно получить со списком кластеров в каталоге.

   Идентификатор задания можно получить со списком заданий в кластере.

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом JobService.Get и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/spark/v1/job_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
              "cluster_id": "<идентификатор_кластера>",
              "job_id": "<идентификатор_задания>"
          }' \
       spark.api.yandexcloud.kz:443 \
       yandex.cloud.spark.v1.JobService.Get
   

   Идентификатор кластера можно получить со списком кластеров в каталоге, идентификатор задания — со списком заданий в кластере.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.

Если у вас еще нет интерфейса командной строки Yandex Cloud (CLI), установите и инициализируйте его.

По умолчанию используется каталог, указанный при создании профиля CLI. Чтобы изменить каталог по умолчанию, используйте команду yc config set folder-id <идентификатор_каталога>. Также для любой команды вы можете указать другой каталог с помощью параметров --folder-name или --folder-id.

Чтобы получить логи выполнения задания:

1. Посмотрите описание команды CLI для получения логов задания:

   yc managed-spark job log --help
   

2. Получите логи задания, выполнив команду:

   yc managed-spark job log <идентификатор_задания> \
     --cluster-id <идентификатор_кластера>
   

   Идентификатор кластера можно получить со списком кластеров в каталоге.

   Идентификатор задания можно получить со списком заданий в кластере.

   Чтобы получить логи нескольких заданий, перечислите их идентификаторы через пробел, например:

   yc managed-spark job log c9q9veov4uql******** c9qu8uftedte******** \
     --cluster-id c9q8ml85r1oh********
   

1. Получите IAM-токен для аутентификации в API и поместите токен в переменную среды окружения:

   export IAM_TOKEN="<IAM-токен>"
   

2. Клонируйте репозиторий cloudapi:

   cd ~/ && git clone --depth=1 https://github.com/yandex-cloud/cloudapi
   

   Далее предполагается, что содержимое репозитория находится в директории ~/cloudapi/.

3. Воспользуйтесь вызовом JobService.ListLog и выполните запрос, например, с помощью gRPCurl:

   grpcurl \
       -format json \
       -import-path ~/cloudapi/ \
       -import-path ~/cloudapi/third_party/googleapis/ \
       -proto ~/cloudapi/yandex/cloud/spark/v1/job_service.proto \
       -rpc-header "Authorization: Bearer $IAM_TOKEN" \
       -d '{
              "cluster_id": "<идентификатор_кластера>",
              "job_id": "<идентификатор_задания>"
          }' \
       spark.api.yandexcloud.kz:443 \
       yandex.cloud.spark.v1.JobService.ListLog
   

   Идентификатор кластера можно запросить со списком кластеров в каталоге, идентификатор задания — со списком заданий в кластере.

4. Убедитесь, что запрос был выполнен успешно, изучив ответ сервера.