Создание сервера MLFlow для логирования экспериментов и артефактов

В практическом руководстве показано, как развернуть MLFlow Tracking Server для логирования экспериментов и артефактов на отдельной виртуальной машине Yandex Compute Cloud. Эксперименты будут проводиться в JupyterLab Notebook. Для хранения внутренних объектов будет использоваться база данных Yandex Managed Service for PostgreSQL, а для хранения артефактов — бакет Yandex Object Storage.

Чтобы создать сервер MLFlow для логирования экспериментов и артефактов JupyterLab Notebook:

1. Подготовьте инфраструктуру.
2. Создайте статический ключ доступа.
3. Создайте пару ключей SSH.
4. Создайте виртуальную машину.
5. Создайте управляемую БД.
6. Создайте бакет.
7. Установите MLFlow Tracking Server и добавьте его в автозагрузку ВМ.
8. Создайте секреты.
9. Обучите модель.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
2. Выберите организацию Yandex Cloud Organization, в которой вы будете работать в Yandex Cloud.
3. Создайте сообщество.
4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость реализации обучения модели с помощью данных из Object Storage входят:

• плата за использование вычислительных ресурсов DataSphere;
• плата за использование вычислительных ресурсов Compute Cloud;
• плата за запущенный кластер Managed Service for PostgreSQL;
• плата за хранение данных в бакете (см. тарифы Object Storage);
• плата за операции с данными (см. тарифы Object Storage).

Подготовьте инфраструктуруПодготовьте инфраструктуру

Войдите в консоль управления Yandex Cloud и выберите организацию, в которой вы работаете с DataSphere. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт.

Если у вас есть активный платежный аккаунт, на странице облака вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура.

Создайте каталогСоздайте каталог

Создайте сервисный аккаунт для Object StorageСоздайте сервисный аккаунт для Object Storage

Для доступа к бакету в Object Storage вам понадобится сервисный аккаунт с ролями storage.viewer и storage.uploader.

Создайте статический ключ доступаСоздайте статический ключ доступа

Чтобы получить доступ к Object Storage из DataSphere, вам понадобится статический ключ.

Создайте пару ключей SSHСоздайте пару ключей SSH

Чтобы подключаться к виртуальной машине по SSH, нужна пара ключей: открытый ключ размещается на ВМ, а закрытый ключ хранится у пользователя. Такой способ более безопасен, чем подключение по логину и паролю.

Чтобы создать пару ключей:

Создайте виртуальную машинуСоздайте виртуальную машину

Создайте управляемую БДСоздайте управляемую БД

Создайте бакетСоздайте бакет

Установите MLFlow Tracking Server и добавьте его в автозагрузку ВМУстановите MLFlow Tracking Server и добавьте его в автозагрузку ВМ

1. Подключитесь к виртуальной машине через SSH.

2. Скачайте дистрибутив Anaconda:

   curl --remote-name https://repo.anaconda.com/archive/Anaconda3-2023.07-1-Linux-x86_64.sh
   

3. Запустите установку:

   bash Anaconda3-2023.07-1-Linux-x86_64.sh
   

   Дождитесь окончания установки и перезапустите оболочку.

4. Создайте окружение:

   conda create -n mlflow
   

5. Активируйте окружение:

   conda activate mlflow
   

6. Установите необходимые пакеты, последовательно выполнив команды:

   conda install -c conda-forge mlflow
   conda install -c anaconda boto3
   pip install psycopg2-binary
   pip install pandas
   

7. Создайте переменные окружения для доступа к S3:

   • Откройте файл с переменными:

     sudo nano /etc/environment
     

   • Добавьте в него следующие строки, подставив значение внутреннего IP вашей виртуальной машины:

     MLFLOW_S3_ENDPOINT_URL=https://storage.yandexcloud.net/
     MLFLOW_TRACKING_URI=http://<внутренний_IP-адрес_виртуальной_машины>:8000
     

8. Укажите данные, которые будут использоваться библиотекой boto3 для доступа к S3:

   • Создайте папку .aws:

     mkdir ~/.aws
     

   • Создайте файл credentials:

     nano ~/.aws/credentials
     

   • Добавьте в него следующие строки, подставив идентификатор и значение статического ключа:

     [default]
     aws_access_key_id=<идентификатор_статического_ключа>
     aws_secret_access_key=<секретный_ключ>
     

9. Запустите MLFlow Tracking Server, подставив данные вашего кластера:

   mlflow server --backend-store-uri postgresql://<имя_пользователя>:<пароль>@<хост>:6432/db1?sslmode=verify-full --default-artifact-root s3://mlflow-bucket/artifacts -h 0.0.0.0 -p 8000
   

   Проверить подключение к MLFlow можно по ссылке http://<публичный_IP-адрес_виртуальной_машины>:8000.

Включите автозапуск MLFlowВключите автозапуск MLFlow

Чтобы MLFlow автоматически запускался после перезагрузки виртуальной машины, нужно сделать его службой Systemd.

1. Создайте директории для хранения логов и ошибок:

   mkdir ~/mlflow_logs/
   mkdir ~/mlflow_errors/
   

2. Создайте файл mlflow-tracking.service:

   sudo nano /etc/systemd/system/mlflow-tracking.service
   

3. Добавьте в него следующие строки, подставив свои данные:

   [Unit]
   Description=MLflow Tracking Server
   After=network.target
   
   [Service]
   Environment=MLFLOW_S3_ENDPOINT_URL=https://storage.yandexcloud.net/
   Restart=on-failure
   RestartSec=30
   StandardOutput=file:/home/<имя_пользователя_ВМ>/mlflow_logs/stdout.log
   StandardError=file:/home/<имя_пользователя_ВМ>/mlflow_errors/stderr.log
   User=<имя_пользователя_ВМ>
   ExecStart=/bin/bash -c 'PATH=/home/<имя_пользователя_ВМ>/anaconda3/envs/mlflow_env/bin/:$PATH exec mlflow server --backend-store-uri postgresql://<имя_пользователя_БД>:<пароль>@<хост>:6432/db1?sslmode=verify-full --default-artifact-root s3://mlflow-bucket/artifacts -h 0.0.0.0 -p 8000'
   
   [Install]
   WantedBy=multi-user.target
   

   Где:

   • <имя_пользователя_ВМ> — имя учетной записи пользователя ВМ;
   • <имя_пользователя_БД> — имя пользователя, указанное при создании кластера БД.

4. Запустите сервис и активируйте автозагрузку при старте системы:

   sudo systemctl daemon-reload
   sudo systemctl enable mlflow-tracking
   sudo systemctl start mlflow-tracking
   sudo systemctl status mlflow-tracking
   

Создайте секретыСоздайте секреты

1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

2. В блоке Ресурсы проекта нажмите Секрет.
3. Нажмите Создать.
4. В поле Имя задайте имя секрета — MLFLOW_S3_ENDPOINT_URL.
5. В поле Значение вставьте адрес — https://storage.yandexcloud.net/.
6. Нажмите Создать.
7. Создайте еще три секрета:
   • MLFLOW_TRACKING_URI со значением http://<внутренний_IP-адрес_виртуальной_машины>:8000;
   • AWS_ACCESS_KEY_ID с идентификатором статического ключа;
   • AWS_SECRET_ACCESS_KEY со значением статического ключа.

Обучите модельОбучите модель

В примере используется набор данных для прогнозирования качества вина на основе количественных характеристик, таких как кислотность, водородный показатель, остаточный сахар и так далее. Чтобы обучить модель, скопируйте код в ячейки ноутбука.

1. Откройте проект DataSphere:

   1. Выберите нужный проект в своем сообществе или на главной странице DataSphere во вкладке Недавние проекты.

   2. Нажмите кнопку Открыть проект в JupyterLab и дождитесь окончания загрузки.
   3. Откройте вкладку с ноутбуком.

2. Установите необходимые модули:

   %pip install mlflow
   

3. Импортируйте необходимые библиотеки:

   import os
   import warnings
   import sys
   
   import pandas as pd
   import numpy as np
   from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
   from sklearn.model_selection import train_test_split
   from sklearn.linear_model import ElasticNet
   from urllib.parse import urlparse
   import mlflow
   import mlflow.sklearn
   from mlflow.models import infer_signature
   import logging
   

4. Cоздайте эксперимент в MLFlow:

   mlflow.set_experiment("my_first_experiment")
   

5. Создайте функцию оценки качества прогноза:

   def eval_metrics(actual, pred):
     rmse = np.sqrt(mean_squared_error(actual, pred))
     mae = mean_absolute_error(actual, pred)
     r2 = r2_score(actual, pred)
     return rmse, mae, r2
   

6. Подготовьте данные, обучите модель и зарегистрируйте ее в MLflow:

   logging.basicConfig(level=logging.WARN)
   logger = logging.getLogger(__name__)
   
   warnings.filterwarnings("ignore")
   np.random.seed(40)
   
   # Загружаем датасет для оценки качества вина
   csv_url = (
      "https://raw.githubusercontent.com/mlflow/mlflow/master/tests/datasets/winequality-red.csv"
   )
   try:
       data = pd.read_csv(csv_url, sep=";")
   except Exception as e:
       logger.exception(
           "Unable to download training & test CSV, check your internet connection. Error: %s", e
      )
   
   # Разделяем датасет на обучающую и тестовую выборку
   train, test = train_test_split(data)
   
   # Выделяем целевую переменную и переменные, используемые для прогноза
   train_x = train.drop(["quality"], axis=1)
   test_x = test.drop(["quality"], axis=1)
   train_y = train[["quality"]]
   test_y = test[["quality"]]
   
   alpha = 0.5
   l1_ratio = 0.5
   
   # Создаем запуск в mlflow
   with mlflow.start_run():
     
      # Создаем и обучаем модель ElasticNet
      lr = ElasticNet(alpha=alpha, l1_ratio=l1_ratio, random_state=42)
      lr.fit(train_x, train_y)
     
      # Делаем прогнозы качества на тестовой выборке
      predicted_qualities = lr.predict(test_x)
   
      (rmse, mae, r2) = eval_metrics(test_y, predicted_qualities)
   
      print("Elasticnet model (alpha={:f}, l1_ratio={:f}):".format(alpha, l1_ratio))
      print("  RMSE: %s" % rmse)
      print("  MAE: %s" % mae)
      print("  R2: %s" % r2)
   
      # Логируем информацию о гиперпараметрах и метриках качества в MLflow
      mlflow.log_param("alpha", alpha)
      mlflow.log_param("l1_ratio", l1_ratio)
      mlflow.log_metric("rmse", rmse)
      mlflow.log_metric("r2", r2)
      mlflow.log_metric("mae", mae)
   
      predictions = lr.predict(train_x)
      signature = infer_signature(train_x, predictions)
   
      tracking_url_type_store = urlparse(mlflow.get_tracking_uri()).scheme
   
      # Регистрируем модель в MLflow
      if tracking_url_type_store != "file":
        mlflow.sklearn.log_model(
              lr, "model", registered_model_name="ElasticnetWineModel", signature=signature
        )
      else:
         mlflow.sklearn.log_model(lr, "model", signature=signature)
   

   Проверить результат можно по ссылке http://<публичный_IP-адрес_виртуальной_машины>:8000.

Как удалить созданные ресурсыКак удалить созданные ресурсы

Чтобы перестать платить за созданные ресурсы:

• удалите виртуальную машину;
• удалите кластер базы данных;
• удалите объекты из бакета;
• удалите бакет;
• удалите проект.