Повторный запуск заданий DataSphere Jobs

В Yandex DataSphere доступен повторный запуск задания с переопределением необходимых параметров. Повторный запуск создает клон задания (job fork), а оригинальное задание становится родительским. Клон задания также можно запустить повторно, тогда задание станет одновременно и клоном одного, и родительским другого.

Чтобы реализовать регулярный запуск одного и того же задания с переопределением некоторых параметров, DataSphere Jobs можно использовать совместно с Yandex Managed Service for Apache Airflow™.

Для повторного запуска задания с новыми параметрами в DataSphere CLI и в составе DataSphere Jobs SDK доступна команда fork, которая позволяет переопределить следующие параметры:

• name — имя задания;
• desc — описание задания;
• args — аргументы задания;
• vars — файлы с входными и выходными данными;
• env_vars — переменные окружения;
• working_storage — конфигурация расширенной рабочей директории;
• cloud_instance_types — конфигурация вычислительных ресурсов.

ПримерПример

Рассмотрим файл конфигурации задания config.yaml для кода, запускающего поиск подстроки (grep) по входному файлу:

name: simple-bash-script
desc: Find text pattern in input file with grep
cmd: grep -C ${RANGE} ${OPTIONS} -f ${PATTERN} ${INPUT} > ${OUTPUT}
args:
  RANGE: 0
  OPTIONS: "-h -r"
inputs:
  - pattern.txt: PATTERN
  - input.txt: INPUT
outputs:
  - output.txt: OUTPUT

Где:

• RANGE — интервал вывода поиска.
• OPTIONS — дополнительные флаги команды grep.
• PATTERN — файл с паттерном подстроки.
• INPUT — файл с входными данными.
• OUTPUT — файл с выходными данными.

После запуска задания его идентификатор можно получить из логов CLI, с помощью команды execute или на странице проекта во вкладке DataSphere Jobs в браузере. Чтобы повторно запустить это задание с помощью команды SDK fork, укажите его идентификатор и переопределите необходимые параметры. Например, задайте новый интервал вывода поиска и новый файл с входными данными:

from datasphere import SDK

sdk = SDK()

sdk.fork_job(
  '<идентификатор_задания>',
  args={'RANGE': '1'},
  vars={'INPUT': 'new_input.txt'},
)

Время жизни данных заданияВремя жизни данных задания

По умолчанию данные заданий удаляются через 14 дней. Если они будут удалены, повторный запуск задания станет невозможным. Вы можете изменить время жизни данных задания, выполнив команду:

datasphere project job set-data-ttl --id <идентификатор_задания> --days <количество_дней>

Где:

--id — идентификатор задания.
--days — количество дней, по прошествии которых данные задания будут удалены.

См. такжеСм. также

• DataSphere Jobs
• Интеграция с Yandex Managed Service for Apache Airflow™
• DataSphere CLI