О чём эта история
«Инфосистемы Джет» — IT‑компания и партнёр Yandex Cloud. Разрабатывает инженерные решения, обеспечивает информационную безопасность, разрабатывает и внедряет программное обеспечение под запрос клиента, а также предоставляет услуги сервисного обслуживания и IT‑аутсорсинга. У компании есть собственный сервисный центр и подразделение, занимающееся разработкой и анализом ML‑решений.
«Инфосистемы Джет» за один месяц разработала систему автоматизации сервисного центра на основе YandexGPT. Модель определяет тематику обращений в службу технической поддержки и с помощью базы знаний генерирует ответы на часто задаваемые вопросы.
В результате компания автоматизировала обработку 30% обращений, причём 75% ответов не нуждаются в дополнительной обработке со стороны сотрудников сервисного центра.
Снизить нагрузку на операторов поддержки и увеличить скорость обработки запросов
Сервисный центр компании работает круглосуточно и отвечает более чем на 21 тысячу обращений в месяц. Специалисты опираются на базу знаний, в которой хранится информация обо всех кейсах за последние 30 лет. Более комплексные обращения, например вопросы диагностики экспертного уровня или проблемы с доступом к ресурсам, передаются профильным специалистам второй линии поддержки.
Из-за загрузки операторов, длины запросов и разного уровня компетенций сотрудников обработка заявок иногда занимает много времени, что приводит к задержке ответов. «Инфосистемы Джет» решила увеличить скорость обработки запросов и уменьшить объём рутинной работы операторов. Для этого запланировали автоматизацию обработки заявок с помощью больших языковых моделей. Система должна классифицировать запросы по типу, находить информацию в базах знаний и предыдущих обращениях, собирать все заявки пользователя в одну историю и выдавать ответ. Если информация не найдена, нужно перенаправлять запрос специалистам.
Для создания собственной системы с использованием больших языковых моделей «Инфосистемы Джет» выбрала облачную инфраструктуру. Она позволила оптимизировать финансовые и временные затраты на развёртывание и обслуживание продукта, построение CI/CD‑пайплайна. При этом компания решила использовать публичную LLM с доступом через облачный API, чтобы иметь всегда актуальную версию модели и ускорить внедрение продукта.
Команда выбрала Yandex Cloud из-за развитой инфраструктуры и управляемых сервисов, а YandexGPT — благодаря гибкому и удобному API, локализации и соответствию требованиям российских регуляторов.
Языковая модель для автоматизации сервисного центра
Команда центра машинного обучения «Инфосистемы Джет» начала планировать проект. Сначала сформулировали и проанализировали задачи по автоматизации работы операторов сервисного центра. Затем собрали исторические данные и под руководством архитектора разработали прототип.
На этом этапе опробовали различные подходы: модели с дообучением и без него, фундаментальные и light‑модели, модели классификации и т. п. Специалисты генерировали и проверяли гипотезы. Затем наиболее эффективные варианты включили в состав MVP. После этого сотрудники сервисного центра проверяли, как решение работает на реальных задачах, и вносили замечания.
Специалисты центра машинного обучения компании проанализировали 13 тысяч запросов, поступивших за один месяц, и выделили около ста наиболее часто встречающихся типов. При обработке обращений возникла сложность — у части заявок не было подробного описания, только скриншоты или краткий результат. Чтобы данные для датасета не пришлось собирать вручную, команда центра машинного обучения разработала приложение на базе библиотеки Langchain, которое векторизирует и индексирует текстовый запрос пользователя.
Следующим этапом стала работа с базой знаний, которая содержит ответы на часто задаваемые вопросы и историю ответов на специфические запросы пользователей из базы предыдущих обращений. Её разместили в Yandex Object Storage. Для поиска ответов по базе команда использует Yandex Managed Service for OpenSearch.
Инструмент суммаризирует обращение пользователя, извлекает суть с помощью промт‑запроса, а затем ищет релевантные документы в базе знаний. Возможны два сценария:
- YandexGPT находит аналогичный обращению кейс и выдаёт ответ автоматически,
- модель собирает информацию по базе знаний и формулирует новое решение. Этот ответ она передаёт операторам для проверки и, при необходимости, корректировки.
После сбора обратной связи от сотрудников сервисного центра модель дорабатывали. Прежде всего наполняли базу знаний релевантными документами. Также сделали классификатор обращений более комплексным, чтобы покрыть больше сценариев использования. После окончания пилотного периода команда продолжает тюнить модель, чтобы её ответы были более точными, полными и стилистически подходящими для сервисного центра.
Результаты
Пилотный проект занял полтора месяца и показал эффективность использования YandexGPT для решения задач поддержки пользователей в сервисном центре «Инфосистемы Джет».
В пилотном проекте до 30% запросов в сервисный центр обрабатываются автоматически. При этом точность классификации ста видов обращений — 75%, а корректность ответов большой языковой модели достигает 80%.
Пилотный проект завершился успешно, и сейчас его планируют ввести в эксплуатацию. Компания продолжает улучшать модель и планирует внедрить её как вспомогательный инструмент для инженеров технической поддержки и существенно ускорить обработку запросов.
Мнение
Мы протестировали несколько языковых моделей, которые есть на рынке, и обнаружили, что YandexGPT даёт лучшие результаты в нашем проекте, поэтому остановили свой выбор на ней. Сейчас мы работаем над улучшением системы. По результатам пилотного проекта она показывает 75% точности, а мы хотим добиться показателя в 90–95%.