Использование данных из Object Storage для обучения модели в Yandex DataSphere

Вы создадите бакет в Object Storage, смонтируете его к файловой системе Windows с помощью rclone и загрузите туда данные для обучения модели в Yandex DataSphere.

Чтобы использовать данные из Object Storage для обучения модели в DataSphere:

1. Подготовьте инфраструктуру.
2. Создайте статический ключ доступа.
3. Создайте бакет.
4. Настройте подключение к Object Storage.
5. Смонтируйте бакет.
6. Подготовьте данные для обучения.
7. Создайте коннектор S3.
8. Подключите бакет к проекту.
9. Обучите модель.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
2. Выберите организацию Yandex Cloud Organization, в которой вы будете работать в Yandex Cloud.
3. Создайте сообщество.
4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость реализации обучения модели с помощью данных из Object Storage входят:

• Плата за использование вычислительных ресурсов DataSphere.
• Плата за хранение данных в бакете (см. тарифы Object Storage).
• Плата за операции с данными (см. тарифы Object Storage).

Подготовьте инфраструктуруПодготовьте инфраструктуру

Войдите в консоль управления Yandex Cloud и выберите организацию, в которой вы работаете с DataSphere. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт.

Если у вас есть активный платежный аккаунт, на странице облака вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура.

Подготовьте рабочее окружениеПодготовьте рабочее окружение

Создайте каталогСоздайте каталог

Создайте сервисный аккаунт для Object StorageСоздайте сервисный аккаунт для Object Storage

Для доступа к бакету в Object Storage вам понадобится сервисный аккаунт с ролью storage.editor.

Создайте статический ключ доступаСоздайте статический ключ доступа

Чтобы получить доступ к Object Storage из DataSphere, вам понадобится статический ключ.

Создайте бакетСоздайте бакет

Настройте подключение к Object StorageНастройте подключение к Object Storage

Чтобы перенести данные с локального диска в Object Storage, вам нужно настроить утилиту rclone.

1. В рабочей директории запустите командную строку от имени администратора и выполните команду:

   .\psexec -i -s cmd.exe
   

2. В открывшейся консоли выполните команду whoami и убедитесь, что сессия запущена от имени системного пользователя.

3. Перейдите в рабочую директорию и запустите конфигурацию утилиты rclone:

   rclone.exe config
   

4. Следуя запросам приложения, создайте новый профиль подключения:

   1. Выберите создание нового профиля: введите в терминал значение n.
   2. Введите имя подключения: s3-connect.
   3. Выберите тип хранилища: введите в терминал значение 4.
   4. Выберите провайдера: введите в терминал значение 1.
   5. Выберите ручной способ ввода учетных данных: введите в терминал значение 1.
   6. Введите в терминале идентификатор секретного ключа.
   7. Введите в терминале значение секретного ключа.
   8. Укажите регион: введите в терминал значение ru-central1.
   9. Укажите эндпоинт: введите в терминал значение storage.yandexcloud.net.
   10. Остальные настройки можно оставить по умолчанию — нажимайте Enter, чтобы их пропустить.

Смонтируйте бакет к файловой системе WindowsСмонтируйте бакет к файловой системе Windows

1. Проверьте подключение к бакету. В той же командной строке, где выполнялась настройка подключения, выполните команду, указав имя бакета:

   rclone.exe ls s3-connect:<имя_бакета>
   

   Если конфигурация настроена правильно, в консоль будет выведен список объектов бакета.

2. Смонтируйте бакет в файловую систему, указав имя бакета и свободную букву диска в файловой системе:

   rclone.exe mount s3-connect:<имя_бакета> <буква_диска>: --vfs-cache-mode full
   

   В проводнике Windows появится новый диск с объектами из бакета.

Подготовьте данные для обученияПодготовьте данные для обучения

1. Скачайте CSV-файл, содержащий данные по предсказанию наличия диабета. Датасет создан на основе данных Kaggle за 2015 год.
2. Скопируйте файл в смонтированный бакет.

Подключите бакет к проектуПодключите бакет к проекту

Чтобы подключиться к бакету из DataSphere, вам понадобится коннектор S3:

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В правом верхнем углу нажмите кнопку Создать ресурс. Во всплывающем окне выберите Коннектор S3.
3. Заполните поля:
   • Имя — имя создаваемого коннектора, например s3-datasphere-connect.
   • Эндпоинт — хост Object Storage — https://storage.yandexcloud.net/.
   • Бакет — имя вашего бакета.
   • Имя раздела при подключении — название тома при монтировании бакета в файловую систему проекта.
   • Идентификатор статического ключа доступа, который используется для подключения к хранилищу.
   • В поле Статический ключ доступа нажмите Создать. В открывшемся окне введите имя секрета и секретный ключ, который используется для подключения к хранилищу.
4. Нажмите кнопку Создать.
5. Перейдите на страницу коннектора S3 и нажмите кнопку Активировать. После активации бакет будет доступен в интерфейсе JupyterLab в списке на вкладке S3 Mounts , и его можно будет просматривать как файловую систему.

Обучите модельОбучите модель

Склонируйте Git-репозиторий, в котором находится ноутбук diabetes_catboost.ipynb с примером обучения модели CatBoost:

1. Откройте проект DataSphere:

   1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

   2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
   3. Откройте вкладку с ноутбуком.
2. В верхнем меню нажмите Git и выберите Clone.
3. В открывшемся окне введите URI репозитория https://github.com/yandex-cloud-examples/yc-datasphere-s3-mount.git и нажмите кнопку Clone.

В ноутбуке diabetes_catboost.ipynb вы подключитесь к датасету diabetes_data.csv в вашем смонтированном бакете и обучите модель CatBoost:

1. Установите необходимые модули:

   %pip install catboost
   %pip install scikit-learn
   %pip install ipywidgets
   

2. Импортируйте необходимые библиотеки:

   import pandas as pd
   from catboost import CatBoostClassifier
   from sklearn.metrics import classification_report
   from sklearn.model_selection import train_test_split
   

3. Загрузите данные для обучения:

   data = pd.read_csv('<путь_к_датасету>')
   data.head()
   

   Чтобы получить путь к файлу diabetes_data.csv, во вкладке S3 Mounts нажмите на него правой кнопкой мыши и выберите Copy path.

4. Разделите факторы для обучения и целевую переменную:

   X = data.loc[:, data.columns != 'Diabetes_binary']
   y = data['Diabetes_binary']
   

5. Разделите выборку на обучающую и тестовую:

   X_train, X_validation, y_train, y_validation = train_test_split(X, y, train_size=0.75, random_state=42)
   

6. Создайте классификатор СatBoost и задайте гиперпараметры:

   model = CatBoostClassifier(
     iterations=100,
     random_seed=42,
     logging_level='Verbose'
   )
   

7. Запустите обучение модели:

   model.fit(
     X_train, y_train,
     eval_set=(X_validation, y_validation),
     plot=True
   )
   

8. Выведите метрики качества обученной модели на экран:

   print(classification_report(y_validation, model.predict(X_validation)))
   

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

• Удалите объекты из бакета.
• Удалите бакет.
• Удалите проект.