Управление жизненным циклом MLOps с помощью ML Registry в Yandex Managed Service for GitLab

В течение жизненного цикла модели машинного обучения выполняются разработка, обучение модели, оценка качества и внедрение модели. В данном руководстве рассматриваются возможности платформы GitLab для хранения и версионирования ML‑артефактов, которые возникают при экспериментах с ML-моделью, в инфраструктуре Yandex Cloud. В экспериментах меняются гиперпараметры модели — настройки, которые задаются до начала обучения модели и определяют ее архитектуру, стратегию обучения и общее поведение. В отличие от параметров модели (весов, коэффициентов), которые подбираются в процессе обучения на данных, гиперпараметры не изменяются автоматически — их выбирает исследователь или ML-инженер.

Жизненный цикл разработки и тестирования модели в среде GitLab отображен на схеме:

В качестве среды разработки и тестирования используется виртуальная машина DSVM. Масштабируемый управляемый сервис Yandex Managed Service for GitLab обеспечивает работу инстанса GitLab с предустановленным пакетом ML Registry. Благодаря этому вы можете пользоваться следующими инструментами MLOps:

• Реестр моделей (Model Registry) для логирования метрик, анализа экспериментов по применению модели и оценки качества.
• Каталог экспериментов (Model Experiments) для управления хранением и версионированием модели.

Для интеграции модели с ML Registry используется библиотека Python API платформы MLFlow.

Кроме сервиса Managed Service for GitLab, для работы с исходным кодом модели используется сервис Yandex Compute Cloud, а для сетевой инфраструктуры — Yandex Virtual Private Cloud.

Системная архитектураСистемная архитектура

СетьСеть

В инфраструктуре решения создается облачная сеть Virtual Private Cloud net-gitlab.

ПодсетиПодсети

В сети net-gitlab создается подсеть в выбранной зоне доступности для размещения инстанса Managed Service for GitLab и ВМ.

Группы безопасностиГруппы безопасности

Сетевой доступ к ресурсам инфраструктуры разграничен с помощью группы безопасности. Подробнее о настройке правил группы безопасности для Managed Service for GitLab.

Адреса ресурсовАдреса ресурсов

В создаваемой инфраструктуре используются публичный IP-адрес для создаваемой ВМ и URL-адрес инстанса GitLab в домене gitlab.yandexcloud.net.

Managed Service for GitLabManaged Service for GitLab

Инстанс GitLab развертывается в ВМ под управлением сервиса Managed Service for GitLab. Доступ к инстансу осуществляется по его адресу через стандартный веб-интерфейс GitLab.

Чтобы выполнять задания GitLab CI/CD, для инстанса Managed Service for GitLab создается и настраивается GitLab Runner.

Compute CloudCompute Cloud

Для локального тестирования и загрузки изменений в репозиторий с исходным кодом модели используется виртуальная машина Data Science Virtual Machine. Отдельная ВМ может использоваться для развертывания GitLab Runner.

Тестовая модельТестовая модель

Тестовая ML-модель, развертываемая в этом руководстве, симулирует цикл разработки и версионирования модели кредитного конвейера. Модель адаптирована для использования в облачной инфраструктуре.

Чтобы развернуть среду разработки модели в облачной среде Yandex Cloud:

1. Подготовьте облако к работе.
2. Создайте инфраструктуру.
3. Создайте проект и настройте окружение.
4. Создайте эксперимент и версию модели.

Если созданные ресурсы вам больше не нужны, удалите их.

Подготовьте облако к работеПодготовьте облако к работе

Зарегистрируйтесь в Yandex Cloud и создайте платежный аккаунт:

1. Перейдите в консоль управления, затем войдите в Yandex Cloud или зарегистрируйтесь.
2. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его и привяжите к нему облако.

Если у вас есть активный платежный аккаунт, вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура, на странице облака.

Подробнее об облаках и каталогах.

Необходимые платные ресурсыНеобходимые платные ресурсы

• Сервис Managed Service for GitLab: использование вычислительных ресурсов инстанса (виртуальной машины) и объем хранилища данных инстанса (см. тарифы Managed Service for GitLab). В зависимости от того, где развернут GitLab Runner, может тарифицироваться ВМ Compute Cloud для установки GitLab Runner.
• Виртуальные машины: использование вычислительных ресурсов, хранилища, публичного IP-адреса и операционной системы (см. тарифы Compute Cloud).
• Сервис Object Storage: использование для хранения резервных копий Managed Service for GitLab (см. тарифы Object Storage).

Создайте инфраструктуруСоздайте инфраструктуру

Создайте проект и настройте окружениеСоздайте проект и настройте окружение

1. Создайте проект GitLab, выберите на стартовой странице Import project и укажите настройки импорта:

   • Import project from — Repository by URL.
   • Git Repository URL — https://github.com/yandex-cloud-examples/yc-ml-ops-managed-gitlab.git
   • Project name — gitlab-mlflow.

2. Разверните раннер для созданного проекта GitLab с помощью инструкции. При развертывании укажите созданные ранее компоненты инфраструктуры:

   • Если вы устанавливаете раннер на ВМ вручную, при создании ВМ выберите подсеть subnet-gitlab-a и группу безопасности gitlab-sg.
   • При создании раннера с помощью Консоли управления укажите сервисный аккаунт gitlab-sa и группу безопасности gitlab-sg.

Настройте переменные окруженияНастройте переменные окружения

1. Откройте проект GitLab gitlab-mlflow.

2. На панели слева перейдите в раздел Settings и во всплывающем списке выберите пункт Access Tokens.

3. Задайте параметры нового токена:

   • Token name — mlflow.
   • Select a role — Maintainer.
   • Select scopes — api, manage_runner, read_repository, write_repository.

4. Нажмите кнопку Create project access token.

5. Скопируйте значение созданного токена.

6. Выберите слева вкладку Settings, а во всплывающем списке — CI/CD.

7. В разделе Variables нажмите кнопку Expand.

8. Добавьте переменные окружения:

   • MLFLOW_TRACKING_TOKEN — созданный токен.
   • MLFLOW_TRACKING_URI — https://<адрес_инстанса_GitLab>.gitlab.yandexcloud.net/api/v4/projects/4/ml/mlflow.
   • REPO_TOKEN — созданный токен.

   Для добавления переменной:

   • Нажмите кнопку Add variable.
   • В появившемся окне в поле Key укажите имя переменной, в поле Value — значение переменной.
   • Нажмите кнопку Add variable.

Создайте эксперимент и версию моделиСоздайте эксперимент и версию модели

1. Подключитесь к ВМ vm-mlops по SSH.

2. Добавьте SSH-ключ для безопасного доступа к GitLab.

3. Склонируйте репозиторий проекта gitlab-mlflow с помощью SSH.

4. Перейдите в директорию с репозиторием и создайте ветку mlops-experiment-1:

   git checkout -b mlops-experiment-1
   

5. Внесите изменения в параметры модели в файле loan_prediction.py, например поменяйте параметр RANDOM_SEED.

6. Загрузите изменения на GitLab:

   git add -A
   git commit -m "Change model parameter"
   git push
   

7. Откройте проект GitLab gitlab-mlflow и создайте мерж-реквест из созданной ветки. Автоматически будет создан сценарий обучения и тестирования измененной модели.

8. Запустите сценарий:

   1. На панели слева выберите пункт Build.
   2. В выпадающем списке выберите пункт Pipelines.
   3. Нажмите кнопку в колонке Actions и выберите trigger_train.

   Дождитесь завершения работы сценария.

9. Создайте реестр версий модели:

   1. На панели слева выберите пункт Deploy.
   2. В выпадающем списке выберите пункт Model Registry.
   3. Нажмите кнопку Create/import model и выберите Create new model.
   4. Укажите имя модели loan-prediction-demo и нажмите кнопку Create.

10. Проверьте результаты эксперимента:

    1. На панели слева выберите пункт Analyze.
    2. В выпадающем списке выберите пункт Model Experiments.
    3. Выберите в списке справа эксперимент Loan_prediction и перейдите на вкладку Runs. В списке отображаются все методы для обучения модели, их параметры и результаты обучения.
    4. Нажмите на элемент списка в колонке Name. На вкладке Artifacts отображаются артефакты обучения выбранного метода модели.
    5. Нажмите кнопку Promote run для регистрации версии модели. Выберите в поле Model модель loan-prediction-demo из выпадающего списка, укажите в поле Version версию 0.0.1 и нажмите кнопку Promote. В реестр версий будет добавлена новая версия и все артефакты ее обучения.

Удалите созданные ресурсыУдалите созданные ресурсы

Некоторые ресурсы платные. Чтобы за них не списывалась плата, удалите ресурсы, которые вы больше не будете использовать:

См. такжеСм. также

• Machine Learning Model Experiments
• Model Registry