Перенос ML-модели в облако за один день: опыт Mains Lab

Компания Mains Lab занимается автоматизацией процессов и разрабатывает решения на базе искусственного интеллекта. Так она помогает своим клиентам, страховым и медицинским компаниям, повысить выручку и сократить издержки на сотни миллионов рублей.

В 2022 году Mains Lab разместила свою модель оценки повреждений автомобилей в Yandex Cloud. В базе компании было около 4,5 млн фотографий повреждений и анализ данных для автоматической подготовки документов.

После переезда в облако команде удалось выполнить свою главную задачу — сократить время на полную подготовку документации с 15 до 11 минут.

Mains Lab также высвободила ресурсы на развитие продукта и уменьшила затраты на поддержку. Это позволило увеличить количество клиентов и пользователей продукта в два раза, а объём обрабатываемых данных — на 30%.

C 2018 года Mains Lab создаёт комплексные решения по оценке ущерба от повреждений автомобиля при ДТП.

Пакет документов с такой оценкой почти полностью готовится автоматически. Для этого команда обучила модель на датасете из 4,5 млн фотографий. К каждой фотографии в базе привязана оценка экспертов, а итоговое решение проходит ручную проверку данных. Благодаря этому качество автоматического отчёта получается таким же высоким, как если бы его полностью делали вручную, но его подготовка при этом занимает уже не несколько дней, а минуты.

У команды есть право на ведение экспертной деятельности, а в её штате есть аттестованные эксперты‑техники. Это  позволяет подготавливать полноценные заключения: они имеют юридическую силу, соответствуют принятым стандартам и требованиям российских законов и ничем не отличаются от документов, с которыми привыкли работать страховые компании. Всё это вместе с техническими возможностями позволяет Mains Lab предлагать решения, которые можно внедрять в страховые компании под ключ.

Модель для автоматической оценки ущерба обучается на датасетах Mains Lab. В наборы данных входят фотографии повреждённых автомобилей, характеристика повреждений и сумма выплат от страховой компании за подобный ущерб. Данные для датасетов предоставляют эксперты Mains Lab и самих страховых компаний.

На основе полученных датасетов Mains Lab создала MVP и разместила его на серверах провайдера. Стало понятно, что для продакшена и масштабирования нужна более производительная инфраструктура.

Главная задача, которую ставила перед собой Mains Lab, — это сократить полный цикл подготовки документации о стоимости ущерба с 15 до 11 минут. За это время должен быть проведён полный цикл работы: автоматическая оценка, подготовка документов и ручная проверка данных.

В поисках оптимальных цен и SLAВ поисках оптимальных цен и SLA

Чтобы уменьшить сроки обработки запросов и затраты на поддержку системы, Mains Lab решила развернуть облачную инфраструктуру и разместить в ней модель и датасеты. После анализа рынка компания остановилась на Yandex Cloud.

Одним из важных факторов была надёжность партнёра с точки зрения закупки нужного для Mains Lab оборудования. У Yandex Cloud запас такого оборудования есть, и это позволило Mains Lab снизить расходы из‑за возможных проблем с железом.

Особенности Yandex Cloud, которые стали для Mains Lab ключевыми:

• приемлемые цены;
• гарантированное SLA, которое помогло бы сохранить высокую скорость работы, избежать простоев и сократить расходы на поддержку модели.

До полнительными преимуществами стали:

• понятный интерфейс для управления ресурсами;
• базовый мониторинг от Yandex Cloud;
• удобный API;
• возможность использовать сервисы экосистемы Yandex Cloud.

На момент подключения к Yandex Cloud у компании Mains Lab было несколько кейсов и один клиент, а сам сервис был на стадии MVP, без больших данных и тяжёлой функциональности. Продукту была нужна простая схема подключения и три виртуальные машины для размещения ресурсов.

Одна из основных функций сервиса Mains Lab — распознавание повреждений. Её ядро — это система компьютерного зрения, которая распознаёт внешнее повреждение автомобиля, сегментирует изображение и определяет, какие детали были повреждены внутри. Систему развернули на виртуальной машине Compute Cloud с GPU NVIDIA^® Tesla^® T4 128 RAM. Ежедневно она обрабатывает 12 ГБ данных и распознаёт фотографии со скоростью 150 мс на одно фото.

Кроме автоматического распознавания сервис предоставляет интерфейс ручной доразметки данных. Здесь эксперты могут внести изменения в автоматическую разметку. Интерфейс занимает отдельную ВМ Compute Cloud. В этой же ВМ формируется финальный результат анализа, а также размещается бэкенд.

Третью ВМ выделили под балансировщик нагрузки.

Ежедневно в базу поступает около 1 ГБ данных. Это данные о распознанных повреждениях, доразметка и финальные расчёты.

Помимо систем для хранения и обработки данных Mains Lab подключила Yandex Tracker для ведения задач по всем своим проектам. Трекер подключили к системе единой авторизации Active Directory, а в будущем планируют настроить интеграцию с GitLab.

Систему подключали по простой схеме, и благодаря удобной экосистеме Yandex Cloud миграция прошла без затруднений за один день.

В результате команде Mains Lab удалось решить свою задачу и сократить срок полного цикла оценки повреждений до 11 минут — от запроса со стороны клиента в API до получения финального результата.

Возможности, которые даёт такое сокращение срока клиентам Mains Lab:

• оптимизация выплат по убыткам на 10‑15%;
• вау‑эффект для клиентов за счёт уменьшения очередей в офисах;
• снижение расходов на ведение дел по урегулированию убытков и на содержание сотрудников на 10‑15%.

При работе с облаком Mains Lab сэкономила свои время и ресурсы за счёт клонирования ВМ. Без этой опции потребовалось бы нанять ещё несколько специалистов для переноса данных. Затраты компании удалось сократить и благодаря быстрой и качественной работе команды поддержки.

Ещё одним преимуществом сотрудничества с Yandex Cloud стал базовый мониторинг. Его было удобно использовать в начале работы, пока Mains Lab не подключила свою, более сложную систему. Сейчас базовый мониторинг выручает при работе с новыми машинами, которые ещё не подключены к основному мониторингу компании.

Переезд в облако позволил Mains Lab масштабироваться: количество кейсов увеличилось на 30%, удвоилось число клиентов, объём данных вырос на 3 ТБ. Всё это время система работает безотказно — SLA со стороны Yandex Cloud полностью выполняется.

Теперь команда рассматривает возможность масштабироваться горизонтально, вынести базу данных из виртуальной машины в управляемый сервис и оптимизировать саму систему — получить максимальный бизнес‑эффект при минимальных затратах на использование сторонних сервисов.