Связаться с намиПодключиться

Управление заданиями Spark

Статья создана
Обновлена 16 декабря 2024 г.

Создать задание

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.

  2. Нажмите на имя нужного кластера и выберите вкладку Задания.

  3. Нажмите кнопку Создать задание.

  4. (Опционально) Укажите имя задания.

  5. В поле Тип задания выберите Spark.

  6. В поле Основной JAR файл укажите путь к основному JAR-файлу приложения в формате:

    Размещение файла Формат пути
    Файловая система инстанса file:///<путь_к_файлу>
    Распределенная файловая система кластера hdfs:///<путь_к_файлу>
    Бакет Object Storage s3a://<имя_бакета>/<путь_к_файлу>
    Интернет http://<путь_к_файлу> или https://<путь_к_файлу>

    Допускается использование архивов стандартных для Linux форматов: zip, gz, xz, bz2 и т. д.

    Сервисному аккаунту кластера необходим доступ на чтение ко всем файлам в бакете. Пошаговые инструкции по настройке доступа к Object Storage приведены в разделе Редактирование ACL бакета.

  7. В поле Основной класс укажите имя основного класса приложения.

  8. Укажите аргументы задания.

    Если аргумент, переменная или свойство состоит из нескольких частей, разделенных пробелом, указывайте каждую часть отдельно. При этом важно сохранить порядок объявления аргументов, переменных и свойств.

    Например, аргумент -mapper mapper.py должен быть преобразован в два аргумента -mapper и mapper.py, стоящих последовательно.

  9. (Опционально) Укажите пути к JAR-файлам, если они используются.

  10. (Опционально) Задайте продвинутые настройки:

    • Укажите пути к необходимым файлам и архивам.
    • В поле Настройки укажите свойства компонентов в виде пары ключ-значение.

  11. Нажмите кнопку Создать задание.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы создать задание:

  1. Посмотрите описание команды CLI для создания заданий типа spark:

    yc dataproc job create-spark --help

  2. Создайте задание (в примере приведены не все доступные параметры):

    yc dataproc job create-spark \
   --cluster-name=<имя_кластера> \
   --name=<имя_задания> \
   --main-class=<имя_основного_класса_приложения> \
   --main-jar-file-uri=<путь_к_основному_jar-файлу> \
   --jar-file-uris=<путь_к_jar-файлу> \
   --file-uris=<путь_к_файлу> \
   --archive-uris=<путь_к_архиву> \
   --properties=<свойства_компонентов> \
   --args=<аргументы> \
   --packages=<Maven_координаты_jar-файлов> \
   --repositories=<дополнительные_репозитории> \
   --exclude-packages=<пакеты_для_исключения>

    Где:

    • --properties — свойства компонентов в виде пары ключ-значение.
    • --args — аргументы, передаваемые заданию.
    • --packages — Maven координаты jar-файлов в формате groupId:artifactId:version.
    • --repositories — дополнительные репозитории для поиска packages.
    • --exclude-packages — пакеты в формате groupId:artifactId, которые надо исключить.

    Пути к необходимым для выполнения задания файлам передавайте в формате:

    Размещение файла Формат пути
    Файловая система инстанса file:///<путь_к_файлу>
    Распределенная файловая система кластера hdfs:///<путь_к_файлу>
    Бакет Object Storage s3a://<имя_бакета>/<путь_к_файлу>
    Интернет http://<путь_к_файлу> или https://<путь_к_файлу>

    Допускается использование архивов стандартных для Linux форматов: zip, gz, xz, bz2 и т. д.

    Сервисному аккаунту кластера необходим доступ на чтение ко всем файлам в бакете. Пошаговые инструкции по настройке доступа к Object Storage приведены в разделе Редактирование ACL бакета.

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Воспользуйтесь методом API create и передайте в запросе:

  • идентификатор кластера в параметре clusterId;
  • имя задания в параметре name;
  • свойства задания в параметре sparkJob.

Идентификатор кластера можно получить со списком кластеров в каталоге.

Отменить задание

Примечание

Задания в статусах ERROR, DONE или CANCELLED отменить нельзя. Чтобы узнать статус задания, получите список заданий в кластере.

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
  2. Нажмите на имя нужного кластера и выберите вкладку Задания.
  3. Нажмите на имя нужного задания.
  4. В правом верхнем углу страницы нажмите кнопку Отменить.
  5. В открывшемся окне выберите Отменить.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы отменить задание, выполните команду:

yc dataproc job cancel <имя_или_идентификатор_задания> \
  --cluster-name=<имя_кластера>

Идентификатор и имя задания можно получить со списком заданий в кластере, имя кластера — со списком кластеров в каталоге.

Воспользуйтесь методом API cancel и передайте в запросе:

  • Идентификатор кластера в параметре clusterId.
  • Идентификатор задания в параметре jobId.

Идентификатор кластера можно получить со списком кластеров в каталоге, идентификатор задания — со списком заданий в кластере.

Получить список заданий

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
  2. Нажмите на имя нужного кластера и выберите вкладку Задания.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить список заданий, выполните команду:

yc dataproc job list --cluster-name=<имя_кластера>

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Воспользуйтесь методом API list и передайте в запросе идентификатор кластера в параметре clusterId.

Идентификатор кластера можно получить со списком кластеров в каталоге.

Получить общую информацию о задании

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
  2. Нажмите на имя нужного кластера и выберите вкладку Задания.
  3. Нажмите на имя нужного задания.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Для получения общей информации о задании выполните команду:

yc dataproc job get \
   --cluster-name=<имя_кластера> \
   --name=<имя_задания>

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Воспользуйтесь методом API get и передайте в запросе:

Получить логи выполнения задания

Примечание

Вы можете просматривать логи выполнения заданий и искать в них информацию с помощью сервиса Yandex Cloud Logging. Подробнее см. в разделе Работа с логами.

  1. Перейдите на страницу каталога и выберите сервис Yandex Data Processing.
  2. Нажмите на имя нужного кластера и выберите вкладку Задания.
  3. Нажмите на имя нужного задания.

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

По умолчанию используется каталог, указанный в профиле CLI. Вы можете указать другой каталог с помощью параметра --folder-name или --folder-id.

Чтобы получить логи выполнения задания, выполните команду:

yc dataproc job log \
   --cluster-name=<имя_кластера> \
   --name=<имя_задания>

Идентификатор и имя кластера можно получить со списком кластеров в каталоге.

Воспользуйтесь методом API listLog и передайте в запросе:

Предыдущая
Запуск заданий
Следующая
Задания PySpark