Проекты DataSphere
Проект — это основное рабочее место пользователя, которое служит единой точкой входа для всех возможностей DataSphere. Проект позволяет запускать вычисления на виртуальных машинах Yandex Cloud стандартных конфигураций и хранит пользовательские ресурсы DataSphere.
Ноутбук — это файл с расширением *.ipynb, с которым вы работаете в среде разработки JupyterLab. В ноутбуке вы пишете код в ячейках, а между ячейками можете добавлять пояснения на языке Markdown. Код исполняется для каждой ячейки отдельно. Ячейки могут выполняться в любом порядке.
Хранилище проекта
DataSphere предоставляет 10 ГБ бесплатного хранилища каждому проекту. При желании вы можете увеличить размер хранилища. Дополнительное пространство будет оплачиваться отдельно. Стоимость расширения основного хранилища см. в разделе Правила тарификации для DataSphere.
Данные небольшого объема (до 100 МБ) можно загрузить в проект DataSphere через интерфейс. Больший объем информации рекомендуется загружать из сетевых хранилищ и баз данных. Также для работы с большим объемом данных удобно использовать датасеты.
Настройка среды исполнения проекта
Проекты создаются с уже настроенной средой разработки и предустановленными пакетами. DataSphere предоставляет несколько Docker-образов окружения с разными версиями Python и библиотек на выбор. По умолчанию используется образ DS Default (Python 3.10), но вы можете выбрать другой стандартный образ. Список всех предустановленных пакетов см. в разделе Список предустановленного ПО. Если какого-то пакета не хватает, вы можете установить его прямо из ячейки ноутбука или собрать Docker-образ.
DataSphere Notebook
DataSphere Notebook позволяет запускать вычисления на ВМ как на локальном ноутбуке JupyterLab. DataSphere Notebook предоставляет выбранную конфигурацию в долгосрочное использование и закрепляет ВМ за ноутбуком проекта до тех пор, пока вы принудительно не вернете ее в пул свободных виртуальных машин, или до истечения тайм-аута. По умолчанию ВМ освободится, если в течение 3 часов в проекте не будет вычислений. Вы можете изменить это значение в настройках проекта.
Изменения в коде ячеек будут сохраняться автоматически. Вы можете отключить автосохранение ноутбука в настройках JupyterLab: для этого в верхнем меню выберите Settings ⟶ Autosave Documents. Если вы хотите сохранить состояние интерпретатора или результаты работы, вам придется сделать это самостоятельно.
Вы можете закрепить за одним проектом несколько конфигураций ВМ. При первом запуске вычислений в ноутбуке выберите, на какой конфигурации будут проводиться вычисления.
Тарификация DataSphere Notebook начнется в момент запуска первых вычислений в ноутбуке и будет продолжаться до тех пор, пока ВМ закреплена за проектом. Подробнее о стоимости использования DataSphere.
Консоль JupyterLab
В DataSphere Notebook доступна консоль JupyterLab с интерактивным интерпретатором Python. Консоль запускается на отдельной ВМ с конфигурацией c1.4. Чтобы открыть консоль, на главной странице JupyterLab в блоке Console выберите DataSphere Kernel. Команды в консоли выполняются через строку ввода по нажатию сочетания клавиш Shift + Enter.
Если вы просто закроете консоль, ВМ продолжит работать. Чтобы остановить ВМ и перестать платить за работу ВМ консоли, воспользуйтесь виджетом в правом верхнем углу экрана или на главной странице проекта и остановите ВМ консоли.
Расширения JupyterLab
Доступны следующие расширения JupyterLab:
- JupyterLab-latex
- JupyterLab-widgets ipywidgets
- JupyterLab-code-formatter black isort
- JupyterLab-execute-time
- JupyterLab-limit-output
- JupyterLab-spellchecker
- JupyterLab-templates