Взаимосвязь ресурсов в DataSphere

DataSphere работает в рамках организаций Yandex Cloud. Все создаваемые сущности DataSphere являются ресурсами организации. Обмен ресурсами между организациями невозможен.

Сообщества — способ организации групповой работы. Сообщества определяют область видимости проектов и ресурсов DataSphere.

Сообщество можно создать в одной из зон доступности. Все проекты и ресурсы, созданные в сообществе, также будут размещаться в этой зоне доступности. В другой зоне доступности можно разместить только ноды. После создания сообщество нельзя перенести в другую зону.

Проекты — основное рабочее место пользователя в DataSphere. В проектах хранятся код, переменные, установленное ПО и прочая информация.

Ресурсы DataSphere — объекты, которые создаются или используются в проектах: датасеты, Docker-образы, ноды и другие.

Ресурсы DataSphereРесурсы DataSphere

В проектах DataSphere можно использовать следующие типы ресурсов:

• Датасеты — способ хранения информации, который предоставляет быстрый доступ к большим объемам данных внутри проекта.
• Секреты — пары ключ-значение, в которых приватные данные (токены, ключи и прочее) хранятся в зашифрованном виде. Секреты создаются в проекте и закрепляются за ним. Созданные секреты можно использовать в коде ячейки как переменные окружения.
• Docker-образы — окружение операционной системы, в котором собран произвольный набор ПО, библиотек, переменных окружения и конфигурационных файлов.
• Коннекторы к хранилищам S3 — сохраненные конфигурации для подключения бакетов Object Storage. Бакеты можно монтировать в файловую систему проекта, чтобы облегчить доступ к данным из кода. Как создать коннектор S3, смотрите Подключение к хранилищу S3.
• Ноды — сервисы, развернутые для эксплуатации обученных моделей. Сторонние сервисы могут обращаться к нодам по API.
• Алиасы — «надстройка» для публикации сервисов. Алиасы позволяют распределять нагрузку между нодами и обновлять развернутые сервисы во время работы.
• Шаблоны Yandex Data Processing — готовые конфигурации кластеров Yandex Data Processing для автоматического развертывания кластеров из проекта DataSphere.
• Модели — сохраненное состояние интерпретатора, результаты вычислений или обучения. Делятся на обученные в проектах модели и дообученные фундаментальные модели.
• Коннекторы Spark — сохраненные конфигурации для подключения существующих кластеров Yandex Data Processing и создания временных кластеров.

Совместное использование проектов и ресурсовСовместное использование проектов и ресурсов

Для совместного использования проектов и ресурсов DataSphere предусмотрена возможность публикации ресурсов в сообществах.

Публикация ресурса означает, что все пользователи сообщества получат доступ к ресурсу. Это позволит им использовать ресурс в своих проектах в рамках сообщества. Публиковать ресурсы можно как в сообществе проекта, так и в других сообществах в пределах организации.

Обмен ресурсами между сообществами позволяет использовать Docker-образы, датасеты и другие объекты разными командами внутри одной организации.

Видимость сообществ, проектов и ресурсов DataSphere ограничена рамками организации. Обмен ресурсами между организациями невозможен. Также нельзя поделиться ресурсом в сообществе, которое было создано в другой зоне доступности.

Вы можете делиться ресурсами проекта DataSphere, в котором имеете как минимум роль Editor, в любом сообществе организации, в котором вы состоите с минимальной ролью Developer. Открыть доступ можно на вкладке Доступ на странице просмотра ресурса. Подробнее на странице Управление доступом в DataSphere.

Связь ресурсов DataSphere с сервисами Yandex CloudСвязь ресурсов DataSphere с сервисами Yandex Cloud

Сообщества DataSphere являются ресурсами организации. В одной организации может быть множество сообществ.

Для оплаты сервиса DataSphere используется платежный аккаунт Yandex Cloud.

Для доступа к другим сервисам Yandex Cloud используются каталоги. В них размещены ресурсы конкретного сервиса Yandex Cloud. Работа с сервисами Yandex Cloud осуществляется с помощью сервисных аккаунтов.