О чём эта история
Ralf Ringer производит и продаёт мужскую, женскую и детскую обувь и аксессуары. Еженедельно на площадках, где представлены эти товары, появляются тысячи вопросов и отзывов от клиентов.
Для их обработки компания подключила сервис автоматических ответов Smart-Reply.AI на базе YandexGPT. В результате сократили нагрузку на сотрудников отдела клиентской поддержки в два раза. Сейчас сервис обрабатывает 60% вопросов и отзывов без участия человека.
Обработать поток отзывов не раздувая штат поддержки
Ralf Ringer — российская обувная компания, продающая товары под брендами Ralf Ringer, Piranha и Riveri. У неё есть четыре фабрики и более 150 офлайн-магазинов. Объём производства составляет около 2 млн пар в год.
Товары Ralf Ringer можно купить в офлайн- и онлайн-магазинах и на маркетплейсах, среди которых Ozon, Wildberries, Яндекс Маркет и другие. Ритейлеру приходится обрабатывать несколько тысяч отзывов в неделю с разных площадок. Это требует значительных ресурсов отдела поддержки и создаёт сложности со своевременной и качественной обработкой комментариев.
Компании нужен был сервис, который:
- автоматизирует ответы на отзывы клиентов;
- повысит эффективность обработки большого объёма отзывов;
- улучшит качество и скорость ответов на отзывы;
- оптимизирует использование ресурсов отдела, который обрабатывает отзывы.
С 2019 года Ralf Ringer сотрудничает с компанией Starfish24 как с партнёром в области разработки высоконагруженных приложений. Smart-Reply.AI — один из её сервисов на базе YandexGPT, который отвечает на обращения покупателей, учитывая контекст.
Starfish24 разрабатывает сервисы для ритейла с 2016 года, а с 2020 сотрудничает с Yandex Cloud. В конце 2022 компания решила расширить линейку продуктов, используя возможности GPT-моделей. В сентябре 2023 года Starfish24 предложила клиентам протестировать новый сервис — Smart-Reply.AI.
Ralf Ringer согласилась на эксперимент, чтобы повысить эффективность обработки отзывов и улучшить качество ответов клиентам.
YandexGPT для автоматизации ответов
Чтобы пользоваться сервисом Smart-Reply.AI, Ralf Ringer не понадобилась команда программистов. Достаточно было подключить нужные маркетплейсы с помощью API. Например, чтобы отвечать на отзывы в Wildberries, нужно просто указать токен маркетплейса в личном кабинете Smart-Reply.AI.
Сначала Starfish24 тестировала две нейросети: GPT-3.5 и YandexGPT. Плюсы модели от OpenAI — технологически зрелое решение и множество гайдов по промт-инжинирингу от сообщества. Преимущество YandexGPT — экономическая выгода, так как у этой модели больше размер токена, группы символов, которую оплачивает пользователь. Поэтому один и тот же запрос в YandexGPT будет стоить дешевле, чем в GPT-3.5. Дополнительным преимуществом стала качественная техническая и консультационная поддержка команды Yandex Cloud.
Под капотом Smart-Reply.AI находится две модели. Первая — YandexGPT Lite, которая классифицирует вопросы и отзывы. Она хорошо справляется с рутинными задачами, где важна скорость результата. А вторая — YandexGPT 3, которая отвечает на отзывы и вопросы, так как она лучше учитывает контекст и генерирует контент.
Перед ответом сервис определяет несколько параметров запроса:
- тональность: положительная, отрицательная, нейтральная;
- тема вопроса: сертификаты, качество, условия доставки;
- характеристики товара: категория, названия, описание, дополнительные атрибуты.
Для модели, генерирующей ответы, настроили правила публикации. Например, если отзыв положительный, то ответ публикуется автоматически. А если отрицательный, то сообщение модерирует человек, а дальше либо сразу публикует, либо предварительно редактирует.
Чтобы добиться отказоустойчивости, стабильной работы и быть готовыми к росту количества обращений, команда Starfish24 создала микросервисную архитектуру и построила облачную инфраструктуру. Асинхронная отправка запросов к YandexGPT API позволила организовать систему очередей задач и не упираться в лимиты. А чтобы ускорить обработку задач, Starfish24 реализовала горизонтальное масштабирование Smart-Reply.AI с помощью управляемых сервисов Kubernetes®, Apache Kafka® и PostgreSQL.
Все микросервисы проекта написаны на Go и развёрнуты в контейнерах под управлением Yandex Managed Service for Kubernetes®. Базово сервис работает так:
- Коннекторы собирают отзывы и вопросы из подключённых продавцом маркетплейсов.
- Yandex Managed Service for Apache Kafka® передаёт данные в основной микросервис для обработки, а затем они сохраняются в базе Yandex Managed Service for PostgreSQL. На этом этапе формируются две отдельные очереди сообщений — на классификацию тем и настроений и на генерацию и публикацию ответов. Этими очередями также управляет Apache Kafka.
- YandexGPT Lite получает данные и классифицирует вопросы.
- YandexGPT 3 получает данные, генерирует и отправляет ответы на публикацию.
- Коннекторы публикуют ответы на маркетплейсах.
При необходимости можно кастомизировать промт под требования клиента и подключить Yandex Managed Service for OpenSearch для RAG-запросов.
В процессе работы над проектом для Ralf Ringer команда Starfish24 столкнулась с необходимостью дообучения модели, генерирующей ответы. YandexGPT Lite хорошо справлялась с классификацией. Но нужно было улучшить качество ответов YandexGPT 3 о процедуре возврата и ассортименте, а также приблизить стилистику к принятому в компании Tone of Voice.
Поэтому Starfish24 дообучала модель с помощью метода RAG (Retrieval Augmented Generation), то есть программно дополняя вопрос информацией из внешних источников. Такой подход сработал лучше, чем общее обучение по тематике или товарной категории. В этом процессе участвовали архитекторы Yandex Cloud, которые консультировали команду по вопросам подготовки датасетов для дообучения модели, реализации метода RAG на практике с помощью облачных сервисов и оптимального составления промтов.
Для дообучения сформировали дополнительный датасет.
Сначала ритейлер предоставил 1000 примеров вида «вопрос — ответ». Так сформировали набор образцовых ответов. Затем коллекцию дополнили ещё 5000 примеров. На сбор датасета и дополнительное обучение потребовалось три недели.
Промты до и после дополнительного обучения значительно различаются.
Вот пример промта без использования базы дообучения:
Покупатель оставил отзыв о товаре {% if product %}"{{ product.name }}"{% endif %}
Ответь на отзыв покупателя лаконично, доброжелательно {% if customer_name %}, обращайся к покупателю по имени {{ customer_name }}{% else %}. Не обращайся к покупателю по имени{% endif %}. Не сообщай, что ты искусственный интеллект. Напиши законченную версию ответа, а не шаблон. Местоимения вам, вас, ваш и другие должны быть с маленькой буквы и использоваться редко.
{% if product %}{% if product.brand %} Заверши ответ словами "С Уважением, Команда {{ product.brand }}"{% endif %}{% endif %}
Контекст:
{% if product %}
Категория товара: {{ product.category }}.
{% if product.description %} Описание товара: {{ product.description }}.{% endif %}
{% if product.attributes %} Дополнительные характеристики товара: {{ product.attributes }}.{% endif %}
{% endif %}
Оценка от покупателя: {{ rating }} из 5.
__
Отзыв покупателя: {{ content }}
Пример промта с дообучением:
{% if product.description %}Описание товара: {{ product.description }}
{% endif %}{% endif %}
Пожалуйста, посмотри на текст ниже и ответь на отзыв покупателя, используя информацию из этого текста.{% if product %}{% if product.brand %} Заверши ответ фразой "С Уважением, Команда {{ product.brand }}"{% endif %}{% endif %}. Местоимения вам вас ваш и др должны быть с маленькой буквы и использоваться редко.
Текст:
-----
Можно ответить например так: {{ FineTuned_suggestion_1 }}
-----
Отзыв покупателя: {{ content }}
Для оценки качества полученных результатов проводили слепое тестирование: сравнивали ответы нейросети и человека. Оценивали сотрудники бренда, не занятые в проекте. Требовалось, чтобы больше 50% сгенерированных ответов были лучше, чем написанные сотрудниками поддержки.
В результате до 80% ответов модели на типовые вопросы получили более высокую оценку качества, чем ответы операторов.
Кроме дообучения специально для Ralf Ringer команда создала ещё один промт, который повторно просит YandexGPT 3 «облегчить» ответ без потери смысла и убирает лишние местоимения «мы», «вас», «ваш», «нам».
Результаты
В день на площадки Ralf Ringer поступает от 500 до 2000 отзывов клиентов — до внедрения Smart-Reply.AI их обрабатывали два-три сотрудника и не всегда успевали. Кроме того, пользователи ежедневно задают ещё 100–300 вопросов.
Сейчас Smart-Reply.AI отвечает на отзыв или вопрос примерно за десять секунд. Внедрение сервиса позволило снизить нагрузку на сотрудников отдела клиентской поддержки Ralf Ringer в два раза, потому что сервис автоматически отвечает на 60% отзывов. Оставшиеся 40% — это негативные комментарии или сложные вопросы, которые отдел клиентской поддержки обрабатывает вручную.
Сейчас Smart-Reply.AII работает только с Ozon и Wildberries, но Starfish24 планирует интегрировать новые площадки, в частности Яндекс Маркет и Авито.
Мнение
Внедрение искусственного интеллекта в процесс обслуживания клиентов — это не просто следование технологическим трендам, а стратегический шаг на пути к повышению качества и оперативности нашего сервиса. Мы стремимся не только удовлетворять, но и превосходить ожидания наших клиентов, и благодаря новым технологиям мы сделаем нашу продукцию ещё более доступной и понятной для покупателей. Нам важно не просто продавать обувь, а предоставлять высококлассный сервис, который делает покупки в Ralf Ringer приятным и лёгким опытом