Как команда Smart‑Dialog повысила качество транскрибации и ускорила ML‑конвейер в 2 раза

Smart‑Dialog — платформа, созданная на базе искусственного интеллекта, для принятия решений в области продаж и сопровождения клиентов. Платформа оценивает коммуникации с потенциальными покупателями для увеличения конверсии на каждом этапе воронки продаж, определения «слитых» лидов и возражений, а также для понимания потенциала покупателей.

Чтобы повысить скорость обработки данных, оптимизировать работу с различными провайдерами (пунктуация, аналитика, визуализация и другое), избежать лицензионных рисков и улучшить качество транскрибации, компания перенесла Smart‑Dialog в Yandex Cloud. В результате команде Smart‑Dialog удалось централизовать используемые сервисы у единого провайдера, упростить разработку ML‑моделей, сократить время на координацию задач внутри команды, что ускорило ML‑конвейер в 2 раза. Кроме того, скорость отработки всех модулей для выдачи заказчику конечных сущностей приблизилась к реалтайму.

Компания Smart‑Dialog занимается разработкой продуктов для автоматизации анализа данных и создания подсказок клиентскому сервису при взаимодействии пользователей с покупателями. Для работы используются реплики абонентов, операторов и иные речевые операции, на основе которых диалоги распределяются по тематикам. Это позволяет пользователям платформы на 20% увеличивать продажи без роста бюджета.

Для достижения высокой точности в определении смыслов платформа использует возможности искусственного интеллекта и лексико‑семантический анализ. Так, Smart‑Dialog обучил ряд специализированных ML‑моделей для выявления возражений: в общении автодилеров со своими покупателями — 16 кластеров, в работе девелоперов — 14 кластеров. Smart-Dialog возвращает набор рекомендаций по преодолению каждого кластера возражений.

Smart‑Dialog разрабатывается в течение трёх лет. Два года назад, в ходе планирования этапа коммерческой эксплуатации, стало очевидно, что проекту нужны инфраструктурные изменения. Команда Smart‑Dialog решила:

• централизовать ресурсы, отойдя от использования сервисов нескольких провайдеров и необходимости интеграций;

• оптимизировать расходы на инфраструктуру и обеспечить прозрачность затрат;

• повысить производительность рабочих процессов, унифицируя инструменты;

• обеспечить высокий уровень безопасности хранения данных и надёжность инфраструктуры;

• исключить лицензионные и валютные риски, локализовав проект.

Изначально основная часть платформы была развёрнута на виртуальных машинах в инфраструктуре немецкого провайдера. Кроме того, компания использовала несколько сторонних сервисов. Команда Smart‑Dialog рассматривала различные варианты размещения. Провайдер должен был удовлетворять всем установленным в компании критериям безопасности, производительности, прозрачности ценообразования. Кроме того, были необходимы качественный сервис распознавания речи, набор управляемых сервисов и наличие интеграции с Hystax Acura для самой миграции.

Всем требованиям на момент миграции отвечала только облачная платформа Yandex Cloud. Команда Smart‑Dialog выбрала производительные виртуальные машины Compute Cloud и Yandex SpeechKit для качественного распознавания речи. Также они запланировали внедрение Yandex DataSphere для разработки и эксплуатации ML‑моделей.

Системный администратор Smart‑Dialog переносил сервисы и данные самостоятельно, с помощью Hystax Acura. Подготовка к миграции заняла приблизительно две недели, а сам перенос провели за одну ночь. Перенесли базы PostgreSQL и Microsoft SQL Server, а также развернули коммуникационную платформу Oktell, веб‑приложения с отчётностью для менеджеров и клиентов и ML‑модели. Для этого выбрали виртуальные машины Compute Cloud, суммарно на момент миграции использовались около 35 CPU и RAM 50 ГБ. Также команда Smart‑Dialog сразу же задействовала Yandex SpeechKit для транскрибации аудиозаписей.

Перенос не обошёлся без сложностей. ML‑модели Smart‑Dialog разработаны на основе BERTopic, поэтому для развёртывания требовался определённый набор библиотек и Python версии 3.1. При импорте моделей команда столкнулась с конфликтом библиотек, но проблему оперативно решили благодаря технической поддержке Yandex Cloud.

После миграции команда Smart‑Dialog занялась повышением производительности: сейчас количество виртуальных машин увеличили до 19, суммарно используется 112 CPU и RAM 312 ГБ. Также после миграции начался перенос ML‑моделей в Yandex DataSphere.

Платформа Smart‑Dialog обрабатывает свыше 2.5 тысячи часов аудиозаписей в формате мр3 — это 160 ГБ данных в месяц. Весь этот объём аудиоданных преобразуется в текст с помощью Yandex SpeechKit. Благодаря использованию Yandex SpeechKit команде Smart‑Dialog удалось добиться высокой точности распознавания речи. Показатель WER, который определяет процент неправильно распознанных слов, достиг уровня 10–12%. Это лучший результат для обработки телефонных звонков на русском языке.

Команда погружается в работу в Yandex DataSphere, планомерно внедряя сервис в пайплайн анализа данных и машинного обучения. Также внедрили в рабочий процесс Yandex Tracker для управления проектами и задачами.

Благодаря переносу платформы Smart‑Dialog в Yandex Cloud, удалось объединить в общий хаб используемые сервисы, которые раньше предоставляли разные провайдеры. Это упростило разработку, уменьшило время на координацию задач внутри команды, а также повысило эффективность рабочих процессов. В результате скорость работы ML‑конвейера выросла в 2 раза.

Благодаря использованию Yandex SpeechKit удалось добиться лучшего на рынке качества обработки телефонных звонков на русском языке.

В Smart‑Dialog повысили отказоустойчивость платформы за счёт использования облачной инфраструктуры. Также команда повысила катастрофоустойчивость сервиса за счёт автоматического резервного копирования и системы восстановления. Yandex Cloud не только обеспечивает высокую доступность платформы Smart‑Dialog, но и полностью соответствует требованиям 152‑ФЗ и гарантирует первый уровень защищённости персональных данных (УЗ‑1).

Также команде удалось оптимизировать расходы: вместо оплаты услуг от разных поставщиков, структура ценообразования для компании стала единой и прозрачной.

В ближайших планах компании — изучить Yandex DataSphere как платформу анализа данных и машинного обучения, а также интегрировать сервисы с Yandex DataLens, чтобы создавать визуальные отчёты для бизнес‑анализа данных. Smart‑Dialog планирует предоставлять своим клиентам шаблоны отчётов в Yandex DataLens. Кроме того, команда автоматизирует процессы запуска моделей DataSphere и внедряет Kubernetes^®. По их оценкам, в перспективе это позволит сократить временные затраты на ручную работу до 70%.

В будущем планируется более плотная работа с YandexGPT и SpeechSense для улучшения качества обработки и анализа текста и речи.