Работа с Docker-образами

Вы можете настроить окружение для выполнения вашего кода, используя Docker-образы.

Yandex DataSphere позволяет создавать репозитории Docker-образов в проекте, а также выбирать образ для проекта. Выбранный образ будет использоваться при запуске кода во всех ноутбуках проекта.

Создать Docker-образСоздать Docker-образ

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В правом верхнем углу нажмите Создать ресурс. Во всплывающем окне выберите Docker-образ.

3. Заполните поля:

   • Путь к образу внутри проекта — путь внутри проекта, где будет размещаться созданный Docker-образ; . — корневая директория.

   • Имя образа — имя образа, например tensorflow.

   • Тег — тег образа, например 1.0.0.

   • Шаблон Docker-образа — шаблон скрипта для установки Python.

   • Файл Docker — набор инструкций для создания Docker-образа.

     Отредактируйте содержимое поля. Например, следующий код создаст Docker-образ с python_3_8 на основе оригинального образа TensorFlow:

     FROM tensorflow/tensorflow:2.7.0-gpu
     
     RUN set -e \
       && useradd -ms /bin/bash --uid 1000 jupyter \
       && pip install --no-cache-dir --upgrade pip \
       && pip install --no-cache-dir nptyping==1.4.4 pandas==1.4.1 opencv-python-headless==4.5.5.62 scikit-learn==1.0.2 \
       && ln -s /usr/bin/python3 /usr/local/bin/python3
     

4. (опционально) В блоке Данные для аутентификации укажите логин и пароль от аккаунта на Docker Hub.

5. Нажмите Собрать.

   Будет создан Docker-образ с пакетами библиотеки TensorFlow для использования GPU в расчетах.

6. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

7. В блоке Ресурсы проекта выберите Docker-образ.

Применить Docker-образ для проектаПрименить Docker-образ для проекта

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта выберите Docker-образ.

3. Напротив нужного образа нажмите и выберите Активировать.

4. Откройте проект в JupyterLab и дождитесь окончания загрузки.

5. Откройте вкладку с ноутбуком и убедитесь, что окружение пользовательского образа доступно в вашем проекте. Например, для образа TensorFlow создайте и запустите ячейку со следующим кодом:

   #!g1.1
   import tensorflow as tf
   tf.config.list_physical_devices('GPU')
   

   Результат:

   ...
   [PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]
   

Чтобы вернуться к окружению по умолчанию:

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта выберите Docker-образ.
3. Напротив образа по умолчанию нажмите и выберите Активировать.

Поделиться Docker-образомПоделиться Docker-образом

Поделиться Docker-образом в сообществе может только администратор сообщества.

Подробнее о ролях, действующих в DataSphere, см. в разделе Управление доступом в DataSphere.

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Docker-образ.
3. Выберите нужный образ в списке.
4. Перейдите на вкладку Доступ.
5. Включите опцию видимости напротив названия сообщества, в котором нужно поделиться Docker-образом.

Чтобы Docker-образ стал доступен для работы в другом проекте, администратор проекта должен добавить его на вкладке Доступные.

Удалить Docker-образУдалить Docker-образ

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Docker-образ.
3. В списке Docker-образов выберите тот, который хотите удалить.
4. Нажмите и выберите Удалить.
5. Нажмите Подтвердить.

Отобразится сообщение о том, что ресурс удален.