Виртуальные машины с GPU для видеоаналитики VizorLabs: сверхмощные и экономичные

Компания VizorLabs, которая занимается внедрением технологий компьютерного зрения и видеоаналитики на производствах, искала нового облачного провайдера. VizorLabs при обучении и дообучении своих машинных моделей оперирует особо чувствительными персональными данными — изображениями людей, именами и фамилиями, поэтому искала партнера, инфраструктура которого соответствовала бы 152-ФЗ. Также компания хотела иметь возможность гибко управлять мощностями: на время обучения моделей подключать очень производительные виртуальные машины, а в «рабочем» режиме использовать менее мощные.

Решением для VizorLabs стал сервис Yandex Compute Cloud с его возможностью подключить прерываемые виртуальные машины с GPU-ускорителем. Все ресурсы Yandex не только соответствуют 152-ФЗ, но и позволяют быстро решать самые «тяжелые» задачи, связанные с обработкой видеопотока. По расчетам VizorLabs, аналогичное решение у других облачных провайдеров обошлось бы им более чем в четыре раза дороже.

VizorLabs разрабатывает технологии компьютерного зрения для промышленных систем видеоаналитики: распознавание людей, объектов, действий на фото и видео. Программное обеспечение компании применяется для контроля техники безопасности, а также может использоваться для трекинга людей, распознавания положения человека в пространстве, статистической и прогнозной аналитики.

В портфолио VizorLabs есть решения для промышленности, транспорта, спортивной индустрии, ритейла, а также для медицинских организаций в период COVID-19 (контроль ношения медицинских масок).

Изначально машинное обучение моделей было организовано на облачных платформах Amazon Web Services и Microsoft Azure. Но через некоторое время появилась задача гибко управлять загрузкой виртуальных машин и эффективнее планировать расходы. Еще одна возникшая задача — соблюдать требования федерального закона № 152-ФЗ «О персональных данных», потому что модели компьютерного зрения попадают под его действие. Например, в проектах для мониторинга соблюдения техники безопасности важно, чтобы каждое лицо на видео распознавалось и сопоставлялось с фамилией, именем, должностью работника. Такая информация, согласно законодательству РФ, относится уже к биометрическим персональным данным, и, чтобы использовать их даже во время обучения машинной модели, серверы должны иметь все необходимые сертификаты безопасности. Поэтому решили перенести инфраструктуру, которая работает с этими задачами, на российскую облачную платформу.

Для компании было важно, чтобы сервисы нового провайдера управлялись гибко: можно было подключать больше ресурсов в периоды обучения машинной модели для каждого конкретного проекта и отключать их, когда она переходит в режим inference (обрабатывает входящий видеопоток).

Все это предоставляет Yandex Cloud. Также привлекла возможность гибко настраивать мощности виртуальных машин: подбирать оптимальные комбинации vCPU и RAM, а для «тяжелых» вычислений подключать высокомощные виртуальные машины с графическими ускорителями GPU.

Платформа Yandex Cloud полностью удовлетворяет требования 152-ФЗ:

• есть средства защиты информации, обеспечивающие 3-й и 4-й уровни защищенности персональных данных;
• пройдены все необходимые сертификации и аттестации;
• в дата-центрах организована бесперебойная работа и отказоустойчивость выше 99%.

Для задач VizorLabs решили использовать сервис Yandex Compute Cloud с его возможностями развернуть прерываемые виртуальные машины, которые могут быть принудительно остановлены в любой момент. Теперь компания подключает дополнительные мощности на этапе, когда нейронная сеть проходит фазу обучения, и отключает, когда она переходит к рутинным задачам. Это позволяет не оплачивать время работы виртуальных машин с избыточными характеристиками.

VizorLabs использует облачные мощности для решения широкого круга задач (обучение, дообучение нейросетей, демостенды, тестовые ресурсы разработчиков, разметка и хранение датасетов), поэтому при создании ресурсов выбирали разные конфигурации. Например, для самых «тяжелых» вычислений создали виртуальные машины с графическим ускорителем NVIDIA Tesla V100, которые работают в режиме прерываемых виртуальных машин.

Вычисления, которые выполняет машинная модель при рутинной работе, передаются в инфраструктуру заказчика, если у него есть свои виртуальные машины в Yandex Cloud. Если нет, то VizorLabs создают новые виртуальные машины в своем облаке, выбирая их мощность таким образом, чтобы она была оптимальна для задач конкретного заказчика.

Чтобы начать работу в Yandex Cloud, нужно было организовать миграцию ресурсов от предыдущего облачного провайдера. Виртуальные машины переносили вручную и поэтапно, чтобы сделать миграцию более безопасной. Процесс прошел легко, а единственное, что нужно было доработать, — прописать скрипты запуска прерываемых машин, потому что раньше такие машины не использовались.

Со всей работой примерно за месяц справился один сотрудник VizorLabs. Его консультировал системный архитектор Yandex Cloud, который помогал разобраться с функциональностью сервисов и советовал полезные опции, чтобы лучше распределить нагрузку.

Для хранения данных машинных моделей при обучении VizorLabs использовали сервис Yandex Object Storage.

Благодаря миграции в Yandex Cloud компании VizorLabs удалось создать надежную инфраструктуру для работы с персональными данными, которая удовлетворяет всем требованиям 152-ФЗ.

Оптимизированы расходы на содержание облачных ресурсов: экономия получилась больше чем в четыре раза в сравнении с тем, если бы использовали те же GPU-машины у других провайдеров без возможности прерывания.

Так как все мощности Yandex Cloud расположены в России и организованы три зоны доступности (Московская, Владимирская и Рязанская области), пинг для сотрудников распределенных команд из различных регионов страны повысился. Поэтому разрабатывать новые машинные модели получается быстрее. В планах использовать еще более мощные GPU-машины. Скоро у Yandex Cloud появится возможность подключить видеокарты NVIDIA Ampere A100 с еще большей производительностью.