Развертывание сервиса на основе Docker-образа

DataSphere позволяет разворачивать и эксплуатировать сервисы на основе произвольного Docker-образа.

В этом практическом руководстве с помощью ноды из Docker-образа вы развернете сервис обнаружения объектов на изображении, основанный на NVIDIA Triton Inference Server.

1. Подготовьте инфраструктуру.
2. Подготовьте Docker-образ для развертывания сервиса.
3. Разверните сервис в DataSphere.
4. Проверьте работу развернутого сервиса.

Если созданные ресурсы вам больше не нужны, удалите их.

Перед началом работыПеред началом работы

Перед началом работы нужно зарегистрироваться в Yandex Cloud, настроить сообщество и привязать к нему платежный аккаунт:

1. На главной странице DataSphere нажмите Попробовать бесплатно и выберите аккаунт для входа — Яндекс ID или рабочий аккаунт в федерации (SSO).
2. Выберите организацию Yandex Cloud Organization, в которой вы будете работать в Yandex Cloud.
3. Создайте сообщество.
4. Привяжите платежный аккаунт к сообществу DataSphere, в котором вы будете работать. Убедитесь, что у вас подключен платежный аккаунт, и он находится в статусе ACTIVE или TRIAL_ACTIVE. Если платежного аккаунта нет, создайте его в интерфейсе DataSphere.

Необходимые платные ресурсыНеобходимые платные ресурсы

В стоимость развертывания сервиса на основе Docker-образа входят:

• плата за постоянно запущенные инстансы ноды (см. тарифы DataSphere);
• плата за запуск ячеек с кодом для проверки работы развернутого сервиса;
• объем хранилища, занятый данными Yandex Container Registry (см. тарифы Container Registry).

Подготовьте инфраструктуруПодготовьте инфраструктуру

Войдите в консоль управления Yandex Cloud и выберите организацию, в которой вы работаете с DataSphere. На странице Yandex Cloud Billing убедитесь, что у вас подключен платежный аккаунт.

Если у вас есть активный платежный аккаунт, на странице облака вы можете создать или выбрать каталог, в котором будет работать ваша инфраструктура.

Создайте каталогСоздайте каталог

Создайте каталог, в котором вы развернете всю необходимую инфраструктуру, а ваш сервис будет хранить логи.

Создайте реестр Container RegistryСоздайте реестр Container Registry

DataSphere может создать ноду из Docker-образа, который хранится в Yandex Container Registry. Чтобы загрузить образ, создайте реестр:

Создайте сервисный аккаунт для проекта DataSphereСоздайте сервисный аккаунт для проекта DataSphere

Создайте авторизованный ключ для сервисного аккаунтаСоздайте авторизованный ключ для сервисного аккаунта

Чтобы сервисный аккаунт мог аутентифицироваться в Yandex Container Registry, создайте авторизованный ключ.

Подготовьте Docker-образ для развертывания сервисаПодготовьте Docker-образ для развертывания сервиса

Если у вас еще нет Docker, установите его.

Создайте Docker-образ сервисаСоздайте Docker-образ сервиса

1. Создайте папку, в которой будет храниться конфигурация Docker-образа, например /home/docker-images.

2. Создайте и сохраните текстовый файл без расширения с именем Dockerfile.

   Triton Dockerfile

   # syntax=docker/dockerfile:1
   FROM nvcr.io/nvidia/tritonserver:22.01-py3
   
   RUN mkdir -p /models/resnet152_640x640/1/model.savedmodel/ &&\
     curl --location "https://tfhub.dev/tensorflow/faster_rcnn/resnet152_v1_640x640/1?tf-hub-format=compressed" |\
     tar -zxvC /models/resnet152_640x640/1/model.savedmodel/ &&\
     mkdir -p /models/inception_resnet_v2_640x640/1/model.savedmodel/ &&\
     curl --location "https://tfhub.dev/tensorflow/faster_rcnn/inception_resnet_v2_640x640/1?tf-hub-format=compressed" |\
     tar -zxvC /models/inception_resnet_v2_640x640/1/model.savedmodel/
   
   ENTRYPOINT ["/opt/tritonserver/nvidia_entrypoint.sh",\
               "tritonserver",\
               "--model-repository=/models",\
               "--strict-model-config=false"]
   

3. Запустите Docker Desktop.

4. В командной оболочке перейдите в папку, где хранится созданный вами Dockerfile.

   cd docker-images
   

5. Соберите Docker-образ:

   docker build -t triton-docker --platform linux/amd64 .
   

Загрузите Docker-образ в Container RegistryЗагрузите Docker-образ в Container Registry

Если у вас еще нет интерфейса командной строки Yandex Cloud, установите и инициализируйте его.

Разверните сервис в DataSphereРазверните сервис в DataSphere

1. Откройте главную страницу DataSphere. На панели слева выберите Сообщества.

2. Выберите сообщество с привязанным платежным аккаунтом.
3. Создайте проект Node from Docker.
4. В настройках проекта укажите:
   • Каталог по умолчанию — data-folder.
   • Сервисный аккаунт — sa-for-datasphere.
5. Создайте секрет iam-secret, содержащий IAM-токен вашего пользовательского аккаунта.
6. Создайте секрет key-for-sa, хранящий полное содержимое файла с авторизованным ключом для сервисного аккаунта sa-for-datasphere.
7. Создайте ноду. Для этого на странице проекта в правом верхнем углу нажмите кнопку Создать ресурс. Во всплывающем окне выберите Нода. Укажите настройки ноды:
   1. В поле Имя введите имя ноды — triton.
   2. В блоке Тип:
      • Тип — выберите Docker-образ.
      • Хранилище Docker-образов — выберите Yandex Container Registry.
      • Путь к образу — задайте путь к образу Container Registry вида cr.yandex/<идентификатор_реестра>/<имя_образа>:<тег>. Его можно получить в консоли управления, скопировав полное значение на странице репозитория. Также вы можете заполнить поле вручную. Идентификатор реестра можно получить в CLI, выполнив команду yc container registry list.
      • Секрет с паролем — выберите key-for-sa.
   3. В блоке Эндпоинт:
      • Тип — выберите протокол HTTP.
      • Порт — 8000.
   4. Включите опцию Телеметрия и укажите:
      • Тип — выберите Prometheus.
      • HTTP-адрес — /metrics.
      • Порт — 8000.
   5. Включите опцию Проверка и укажите:
      • Тип — выберите HTTP.
      • Путь — /v2/health/ready.
      • Порт — 8000.
      • Таймаут — 1.
      • Интервал — 20.
      • Неудачные проверки — 3.
      • Пройденные проверки — 3.
   6. В блоке Каталог выберите каталог data-folder.
   7. В блоке Обеспечение выберите конфигурацию g1.1.
   8. Нажмите кнопку Создать.

Проверьте работу развернутого сервисаПроверьте работу развернутого сервиса

1. Скачайте ноутбук с кодом проверки и загрузите его в JupyterLab проекта Node from Docker.
2. Выполните ячейки блока Preparing environment: выберите ячейки и нажмите Shift + Enter.
3. В блоке Authentication заполните информацию для аутентификации в ноде. Замените <node ID> и <folder ID> на идентификаторы ноды triton и каталога data-folder.
4. Выполните ячейки блока Authentication.
5. Выполните ячейки блока Test requests. Вы будете обращаться к разным моделям, в ответ на каждый запрос сервис вернет распознанные объекты на изображении.

Удалите созданные ресурсыУдалите созданные ресурсы

При развертывании и эксплуатации моделей вы платите за время работы каждого инстанса ноды — от момента запуска до момента удаления.

Если развернутый сервис вам больше не нужен, удалите ноду.

1. Удалите ноду.
2. Удалите секреты.
3. Удалите авторизованный ключ сервисного аккаунта.
4. Удалите Docker-образ и реестр Container Registry.