Как начать работать с DataSphere

Yandex DataSphere — среда для ML-разработки полного цикла, которая сочетает в себе привычные IDE, технологию бессерверных вычислений и возможность бесшовного использования разных конфигураций вычислительных ресурсов Yandex Cloud. Yandex DataSphere является частью платформы данных и предоставляет широкие возможности для простого взаимодействия с сервисами Yandex Cloud. В качестве IDE DataSphere предоставляет Jupyter® Notebook.

В этом разделе вы научитесь:

1. Создавать проект.
2. Запускать проект.
3. Настраивать окружение.
4. Загружать данные в проект.
5. Запускать обучение.

Перед началом работыПеред началом работы

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь, если вы еще не зарегистрированы.
2. Перейдите в сервис Yandex Cloud Billing и убедитесь, что у вас подключен платежный аккаунт и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его.
3. Откройте главную страницу DataSphere.
4. Примите пользовательское соглашение.
5. Выберите организацию, в которой вы будете работать с DataSphere, или создайте новую.

Создайте проектСоздайте проект

1. Откройте главную страницу DataSphere.
2. На панели слева выберите Сообщества.
3. Выберите сообщество, в котором вы хотите создать проект.
4. На странице сообщества нажмите кнопку Создать проект.
5. В открывшемся окне укажите имя и (опционально) описание проекта.
6. Нажмите кнопку Создать.

Запустите проектЗапустите проект

Чтобы запустить проект, нажмите кнопку Открыть проект в JupyterLab.

Настройте окружениеНастройте окружение

Популярные пакеты для анализа данных и машинного обучения уже предустановлены и готовы к использованию, см. список.

Вы можете установить недостающие пакеты с помощью пакетного менеджера pip.

Чтобы установить пакет:

1. Напишите в ячейке ноутбука команду:

   %pip install <имя_пакета>
   

   Например, установите пакет seaborn для визуализации статистических данных:

   %pip install seaborn
   

   Вы можете использовать различные опции, которые поддерживает команда pip install. См. примеры использования этой команды.

2. Выполните ячейку. Для этого нажмите значок .

   Результат установки пакета отобразится под ячейкой.

Вы также можете настроить окружение для выполнения вашего кода, используя Docker-образы.

Загрузите данные в проектЗагрузите данные в проект

Данные небольшого объема (до 100 МБ) можно загрузить в проект DataSphere через интерфейс JupyterLab. Больший объем информации рекомендуем загружать из сетевых хранилищ и баз данных. Также для работы с большим объемом данных используются датасеты.

Чтобы загрузить данные в проект через интерфейс JupyterLab:

1. В блоке File Browser выберите папку, в которую нужно загрузить данные.
2. Слева сверху нажмите кнопку .
3. Выберите файлы, которые нужно загрузить.

Подробнее о хранилище проекта.

DataSphere позволяет загружать данные из разных источников:

• Подключение к S3 с помощью библиотеки boto3.
• Подключение к Google Drive.
• Подключение к базе данных ClickHouse®.
• Подключение к базе данных PostgreSQL.
• Подключение к Яндекс Диску.

Запустите обучениеЗапустите обучение

Чтобы запустить вычисления:

1. В блоке File Browser выберите ноутбук, в котором содержится код на Python или bash.

2. Выберите одну или несколько ячеек с кодом и запустите их, выбрав в меню Run → Run Selected Cells (также можно использовать сочетание клавиш Shift + Enter).

3. Дождитесь завершения операции.

   Результат выполнения отобразится под ячейкой.

Что дальшеЧто дальше

• Узнайте об особенностях сервиса.
• Посмотрите другие инструкции по работе с сервисом.
• Разверните обученную модель как сервис.