Docker-образы в заданиях

По умолчанию задания DataSphere Jobs используют публичный образ nvidia/cuda:11.8.0-cudnn8-runtime-ubuntu22.04 с предустановленным менеджером пакетов conda, Python 3.10 и другими дополнительными пакетами. Этот образ хранится в кеше DataSphere, поэтому запуск заданий в окружении по умолчанию будет самым быстрым.

Вы также можете запускать задания на любом другом Docker-образе, указав его в секции env файла конфигурации задания. Это может быть:

• системный образ DataSphere

  env:
    docker: system-python-3-10   # Системный образ Python 3.10
  

• пользовательский Docker-образ, доступный в проекте задания

  env:
    docker: <идентификатор_Docker-образа>  # Идентификатор вида bxxxxxxxxxxxxxxxxxxx
  

  Важно

  При использовании Docker-образа проекта в окружение задания не попадут библиотеки, установленные в ноутбуке.

• произвольный образ из внешнего источника

  Вы можете использовать любой реестр образов (Yandex Container Registry, Docker Hub, Docker — Private Registries и т.п.), указав логин и пароль для доступа к образу.

  env:
    docker:
      image: <путь_к_образу>
      username: <логин>
      password:
        secret-id: <имя_секрета>
  

  Где:

  • <путь_к_образу> — полный путь к образу в реестре контейнеров, например cr.yandex/b1g**********/myenv:0.1.
  • <логин> — логин для доступа к вашему реестру. Для аутентификации в Yandex Container Registry используйте сервисный аккаунт и авторизованный ключ.
  • <имя_секрета> — имя секрета DataSphere с паролем. Секрет должен быть создан в проекте DataSphere.

  Если вы используете публичный образ, данные для аутентификации можно не указывать:

  env:
    docker:
      image: ubuntu:focal
  

Полезные ссылкиПолезные ссылки

• DataSphere Jobs
• DataSphere CLI
• Среда исполнения заданий
• Запуск заданий DataSphere Jobs
• GitHub-репозиторий с примерами для запуска заданий