DataSphere CLI

Для запуска заданий DataSphere Jobs используется утилита DataSphere CLI.

Чтобы установить DataSphere CLI, в виртуальном окружении Python выполните команду:

pip install datasphere

После завершения установки вы можете посмотреть справку, запустив команду с флагом -h:

datasphere -h

Результат выполнения команды:

usage: datasphere [-h] [-t TOKEN] [-l {ERROR,WARNING,INFO,DEBUG}] [--log-config LOG_CONFIG] {version,project} ...

positional arguments:
  {version,project}
    version             Show version

options:
  -h, --help            show this help message and exit
  -t TOKEN, --token TOKEN
                        YC OAuth token, see https://yandex.cloud/en/docs/iam/concepts/authorization/oauth-token
  -l {ERROR,WARNING,INFO,DEBUG}, --log-level {ERROR,WARNING,INFO,DEBUG}
                        Logging level
  --log-config LOG_CONFIG
                        Custom logging config

Команды DataSphere CLIКоманды DataSphere CLI

Для управления заданиями используются команды раздела datasphere project job:

• запуск и восстановление сессии задания;
• просмотр информации о заданиях;
• отмена задания.

Запуск заданийЗапуск заданий

Чтобы запустить задание, выполните команду:

datasphere project job execute -p <идентификатор_проекта> -c <файл_конфигурации>

Где:

• <идентификатор_проекта> — идентификатор проекта DataSphere, в котором вы будете запускать задание.
• <файл_конфигурации> — путь к файлу конфигурации задания.

Запуск задания блокирует сессию командной оболочки до завершения задания. Логи работы кода задания будут выведены в стандартные потоки вывода stdout и ошибок stderr. Системные логи выполнения задания будут записаны в отдельный файл в рабочей директории пользователя.

Если в процессе выполнения задания сессия командной оболочки прервалась, задание продолжит выполняться в DataSphere, однако логи выполнения не будут сохраняться. Чтобы возобновить запись логов, восстановите сессию, выполнив команду:

datasphere project job attach --id <идентификатор_задания>

Узнать идентификатор задания можно в интерфейсе DataSphere в виджете заданий на странице проекта.

Отслеживание и запись логов возобновятся после восстановления сессии задания.

Просмотр информации о заданииПросмотр информации о задании

Вы можете посмотреть все прошедшие и текущие задания проекта, выполнив команду:

datasphere project job list -p <идентификатор_проекта>

В ответ вернется таблица со следующими полями:

• идентификатор задания;
• имя;
• описание;
• статус;
• дата начала выполнения и окончания задания (если оно уже завершилось);
• имя пользователя, запустившего задание.

Чтобы посмотреть информацию о конкретном задании, выполните команду:

datasphere project job get --id <идентификатор_задания>

Отмена заданияОтмена задания

Вы можете остановить и отменить выполнение задания двумя способами:

1. Если у вас запущена сессия командной оболочки с заданием в процессе выполнения, нажмите Ctrl + C.

2. Если вы хотите остановить выполнение задания, не связанного с активной сессией командной оболочки, выполните команду:

   datasphere project job cancel --id <идентификатор_задания>
   

Запущенное задание будет остановлено.

Логи заданийЛоги заданий

При запуске задания через DataSphere CLI командная оболочка первым сообщением уведомляет пользователя о сохранении логов в рабочей директории пользователя. Например:

2024-05-16 12:42:35,447 - [INFO] - logs file path: C:\Temp\datasphere\job_2024-05-16T12-42-35.427056

После выполнения задания в рабочей директории пользователя можно найти следующие файлы:

• stdout.txt — стандартный поток вывода пользовательской программы.
• stderr.txt — стандартный поток сообщений об ошибках.
• system.log — системный лог настройки ВМ и установки пакетов окружения.
• log.txt — общий лог утилиты DataSphere CLI, в который записывается ход выполнения задания.
• docker_stats.tsv — лог о потребляемых Docker-образом ресурсах, таких как задействованная мощность процессора, скорости чтения и записи, используемый объем оперативной памяти и скорость загрузки. Эту информацию также можно получить с помощью команды docker stats.
• gpu_stats.tsv — лог об использовании графического процессора: количество ядер, задействованная мощность и видеопамять.

Чтобы изменить директорию для хранения логов, воспользуйтесь командой:

datasphere --log-dir <новая_директория>