Взаимосвязь ресурсов в DataSphere
DataSphere работает в рамках организаций Yandex Cloud. Все создаваемые сущности DataSphere являются ресурсами организации. Обмен ресурсами между организациями невозможен.
Сообщества — способ организации групповой работы. Сообщества определяют область видимости проектов и ресурсов DataSphere.
Сообщество можно создать в одной из зон доступности. Все проекты и ресурсы, созданные в сообществе, также будут размещаться в этой зоне доступности. В другой зоне доступности можно разместить только ноды. После создания сообщество нельзя перенести в другую зону.
Проекты — основное рабочее место пользователя в DataSphere. В проектах хранятся код, переменные, установленное ПО и прочая информация.
Ресурсы DataSphere — объекты, которые создаются или используются в проектах: датасеты, Docker-образы, ноды и другие.
Ресурсы DataSphere
В проектах DataSphere можно использовать следующие типы ресурсов:
- Датасеты — способ хранения информации, который предоставляет быстрый доступ к большим объемам данных внутри проекта.
- Секреты — пары ключ-значение, в которых приватные данные (токены, ключи и прочее) хранятся в зашифрованном виде. Секреты создаются в проекте и закрепляются за ним. Созданные секреты можно использовать в коде ячейки как переменные окружения.
- Docker-образы — окружение операционной системы, в котором собран произвольный набор ПО, библиотек, переменных окружения и конфигурационных файлов.
- Коннекторы к хранилищам S3 — сохраненные конфигурации для подключения бакетов Object Storage. Бакеты можно монтировать в файловую систему проекта, чтобы облегчить доступ к данным из кода. О том, как создать коннектор S3, см. Подключение к хранилищу S3.
- Ноды — сервисы, развернутые для эксплуатации обученных моделей. Сторонние сервисы могут обращаться к нодам по API.
- Алиасы — «надстройка» для публикации сервисов. Алиасы позволяют распределять нагрузку между нодами и обновлять развернутые сервисы во время работы.
- Шаблоны Yandex Data Processing — готовые конфигурации кластеров Yandex Data Processing для автоматического развертывания кластеров из проекта DataSphere.
- Модели — сохраненное состояние интерпретатора, результаты вычислений или обучения. Делятся на обученные в проектах модели и дообученные фундаментальные модели.
- Коннекторы Spark — сохраненные конфигурации для подключения существующих кластеров Yandex Data Processing и создания временных кластеров.
Совместное использование проектов и ресурсов
Для совместного использования проектов и ресурсов DataSphere предусмотрена возможность публикации ресурсов в сообществах.
Публикация ресурса означает, что все пользователи сообщества получат доступ к ресурсу. Это позволит им использовать ресурс в своих проектах в рамках сообщества. Публиковать ресурсы можно как в сообществе проекта, так и в других сообществах в пределах организации.
Обмен ресурсами между сообществами позволяет использовать Docker-образы, датасеты и другие объекты разными командами внутри одной организации.
Видимость сообществ, проектов и ресурсов DataSphere ограничена рамками организации. Обмен ресурсами между организациями невозможен. Также нельзя поделиться ресурсом в сообществе, которое было создано в другой зоне доступности.
Вы можете делиться ресурсами проекта DataSphere, в котором имеете как минимум роль Editor, в любом сообществе организации, в котором вы состоите с минимальной ролью Developer. Открыть доступ можно на вкладке Доступ на странице просмотра ресурса. Подробнее см. Управление доступом в DataSphere.
Связь ресурсов DataSphere с сервисами Yandex Cloud
Сообщества DataSphere являются ресурсами организации. В одной организации может быть множество сообществ.
Для оплаты сервиса DataSphere используется платежный аккаунт Yandex Cloud.
Для доступа к другим сервисам Yandex Cloud используются каталоги. В них размещены ресурсы конкретного сервиса Yandex Cloud. Работа с сервисами Yandex Cloud осуществляется с помощью сервисных аккаунтов.