Коннектор S3
DataSphere предоставляет возможность подключаться к объектному хранилищу S3 с помощью специального типа ресурсов — Коннекторы S3.
Коннектор S3 — ресурс, который хранит настройки для подключения к бакетам облачных сервисов, таких как Yandex Object Storage. После успешного подключения к бакету вы будете видеть его объекты в интерфейсе Jupyter Notebook.
Коннекторы создаются в проекте и закрепляются за ним. Значение статического ключа в коннекторе хранится в зашифрованном с помощью секрета виде.
Примечание
Старайтесь не использовать хранилище S3 в режиме FUSE для работы в бакете с одноуровневыми (нерекурсивными) каталогами с большим количеством файлов. Такой сценарий использования вызывает существенное снижение производительности хранилища.
Информация о коннекторе S3 как ресурсе
О каждом коннекторе S3 хранится следующая информация:
- уникальный идентификатор ресурса;
- описание;
- эндпоинт;
- имя бакета;
- идентификатор и значение статического ключа;
- режим работы;
- бэкенд;
- создатель ресурса;
- дата создания и дата последнего изменения в формате в UTC, например
18 июля 2022 г., 14:23.
Работа с коннектором S3
Создать коннектор S3 можно в интерфейсе DataSphere. Чтобы объекты из бакета были видны в Jupyter, коннектор S3 необходимо активировать. Если подключение больше не нужно, деактивируйте его.
После создания коннектор S3 доступен для проекта. Как и любой другой ресурс, коннектор S3 можно опубликовать в сообществе, чтобы использовать его в других проектах. Для этого вам минимально необходимы роли Editor в проекте и Developer в сообществе, в котором вы хотите его опубликовать. Открыть доступ можно на вкладке Доступ на странице просмотра коннектора S3. Ресурс, доступный для сообщества, появится на странице сообщества в разделе Ресурсы сообщества.
Примечание
Если к проекту привязана подсеть, то у нее должен быть настроен NAT-шлюз.