Подключение к S3 с помощью библиотеки boto3

В этой инструкции описано, как подключиться к объектному хранилищу S3 в Jupyter Notebook с помощью библиотеки boto3. Для подключения к объектному хранилищу вы также можете использовать коннектор S3.

Чтобы настроить подключение к S3 из кода ноутбука:

1. Создайте секреты token с идентификатором и key_value с секретной частью статического ключа доступа для сервисного аккаунта.

2. Откройте проект DataSphere:

   1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

   2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
   3. Откройте вкладку с ноутбуком.

3. Импортируйте библиотеки:

   import boto3
   import os
   from os import path
   

4. Введите имя своего бакета в хранилище:

   bucket_name = '<имя_бакета>'
   

5. Установите подключение:

   session = boto3.session.Session()
   
   ENDPOINT = "https://storage.yandexcloud.net"
   
   session = boto3.Session(
       aws_access_key_id=(os.environ['token']),
       aws_secret_access_key=(os.environ['key_value']),
       region_name="ru-central1",
   )
   
   s3 = session.client(
       "s3", endpoint_url=ENDPOINT)
   

6. Введите имя бакета и получите список объектов в нем:

   for key in s3.list_objects(Bucket='<имя_бакета>')['Contents']:
       print(key['Key'])