О сервисе DataSphere
Yandex DataSphere — среда для ML-разработки полного цикла. Yandex DataSphere предоставляет широкие возможности для простого взаимодействия с сервисами Yandex Cloud.
В DataSphere вы можете обучать модели и проводить вычисления в DataSphere Notebook, запускать удаленные вычисления с помощью заданий DataSphere Jobs, разворачивать обученные модели и любые Docker-образы в качестве сервиса в DataSphere Inference.
Преимущества сервиса
Среда разработки, готовая к использованию
Вам не нужно тратить время на создание и обслуживание виртуальных машин — при создании нового проекта автоматически выделяются вычислительные ресурсы для решения ваших задач.
На виртуальной машине уже установлена среда разработки JupyterLab и пакеты для анализа данных и машинного обучения (TensorFlow, Torch, Keras, NumPy и другие) — вы можете сразу начать их использовать. Полный список приведен в разделе Список предустановленного ПО.
Если какого-то пакета вам не хватает, вы можете установить его прямо из ноутбука или собрать собственный Docker-образ.
Гибкий выбор вычислительных ресурсов
DataSphere предоставляет большой выбор готовых конфигураций вычислительных ресурсов. Вы можете выбрать одну или несколько конфигураций и получить управляемый сервис без необходимости настраивать виртуальную машину. Выделенные ресурсы сохранятся за вами до тех пор, пока вы их используете или пока специально не освободите ВМ. По умолчанию простаивающая ВМ освободится через 3 часа, но вы можете настроить время, чтобы сократить расходы или наоборот, закрепить за собой выбранную конфигурацию.
Организации и иерархия ресурсов
DataSphere не ограничивается одним облаком, а позволяет работать в едином пространстве всем участникам организации под управлением сервиса Yandex Identity Hub. Создаваемые ресурсы зависят от проектов, но не ограничены только ими. Подробнее о взаимосвязи ресурсов DataSphere читайте в разделе Взаимосвязь ресурсов в DataSphere.
Совместная работа и управление расходами
Для совместной работы над проектами и гибкого управления расходами в DataSphere появились сообщества. К каждому сообществу можно привязать отдельный платежный аккаунт Yandex Cloud, чтобы разделить финансы команд. При этом сообщества не изолируют команды друг от друга и позволяют делиться проектами и созданными ресурсами.
Управление доступами и видимостью ресурсов осуществляется с помощью ролей. Подробнее о ролях смотрите Управление доступом в DataSphere.
Администраторы сообществ дополнительно могут настраивать функции, доступные в проектах, и вводить ограничения на использование конфигураций, чтобы контролировать расходы.
Бесшовная эксплуатация работающих сервисов
DataSphere Inference предоставляет удобные инструменты для развертывания сервисов как на основе моделей, обученных в DataSphere, так и на базе произвольных Docker-образов, собранных вне DataSphere.
Алиасы позволяют балансировать нагрузку между несколькими работающими нодами и публиковать новые версии без необходимости останавливать работающий сервис. Создать алиас можно в интерфейсе DataSphere.
На странице нод в интерфейсе DataSphere можно следить за графиками мониторингов и логами работы развернутых инстансов. Там же можно изменить конфигурацию вычислительных ресурсов и отправить тестовые запросы к API развернутого сервиса.
Список инструкций для работы с нодами и алиасами.