Как Smart-Reply.AI и YandexGPT отвечают на  60% отзывов о Ralf Ringer

Ralf Ringer производит и продаёт мужскую, женскую и детскую обувь и аксессуары. Еженедельно на площадках, где представлены эти товары, появляются тысячи вопросов и отзывов от клиентов.

Для их обработки компания подключила сервис автоматических ответов Smart-Reply.AI на базе YandexGPT. В результате сократили нагрузку на сотрудников отдела клиентской поддержки в два раза. Сейчас сервис обрабатывает 60% вопросов и отзывов без участия человека.

Ralf Ringer — российская обувная компания, продающая товары под брендами Ralf Ringer, Piranha и Riveri. У неё есть четыре фабрики и более 150 офлайн-магазинов. Объём производства составляет около 2 млн пар в год.

Товары Ralf Ringer можно купить в офлайн- и онлайн-магазинах и на маркетплейсах, среди которых Ozon, Wildberries, Яндекс Маркет и другие. Ритейлеру приходится обрабатывать несколько тысяч отзывов в неделю с разных площадок. Это требует значительных ресурсов отдела поддержки и создаёт сложности со своевременной и качественной обработкой комментариев.

Компании нужен был сервис, который:

• автоматизирует ответы на отзывы клиентов;
• повысит эффективность обработки большого объёма отзывов;
• улучшит качество и скорость ответов на отзывы;
• оптимизирует использование ресурсов отдела, который обрабатывает отзывы.

С 2019 года Ralf Ringer сотрудничает с компанией Starfish24 как с партнёром в области разработки высоконагруженных приложений. Smart-Reply.AI — один из её сервисов на базе YandexGPT, который отвечает на обращения покупателей, учитывая контекст.

Starfish24 разрабатывает сервисы для ритейла с 2016 года, а с 2020 сотрудничает с Yandex Cloud. В конце 2022 компания решила расширить линейку продуктов, используя возможности GPT-моделей. В сентябре 2023 года Starfish24 предложила клиентам протестировать новый сервис — Smart-Reply.AI.

Ralf Ringer согласилась на эксперимент, чтобы повысить эффективность обработки отзывов и улучшить качество ответов клиентам.

Чтобы пользоваться сервисом Smart-Reply.AI, Ralf Ringer не понадобилась команда программистов. Достаточно было подключить нужные маркетплейсы с помощью API. Например, чтобы отвечать на отзывы в Wildberries, нужно просто указать токен маркетплейса в личном кабинете Smart-Reply.AI.

Сначала Starfish24 тестировала две нейросети: GPT-3.5 и YandexGPT. Плюсы модели от OpenAI — технологически зрелое решение и множество гайдов по промт-инжинирингу от сообщества. Преимущество YandexGPT — экономическая выгода, так как у этой модели больше размер токена, группы символов, которую оплачивает пользователь. Поэтому один и тот же запрос в YandexGPT будет стоить дешевле, чем в GPT-3.5. Дополнительным преимуществом стала качественная техническая и консультационная поддержка команды Yandex Cloud.

Под капотом Smart-Reply.AI находится две модели. Первая — YandexGPT Lite, которая классифицирует вопросы и отзывы. Она хорошо справляется с рутинными задачами, где важна скорость результата. А вторая — YandexGPT 3, которая отвечает на отзывы и вопросы, так как она лучше учитывает контекст и генерирует контент.

Перед ответом сервис определяет несколько параметров запроса:

• тональность: положительная, отрицательная, нейтральная;
• тема вопроса: сертификаты, качество, условия доставки;
• характеристики товара: категория, названия, описание, дополнительные атрибуты.

Для модели, генерирующей ответы, настроили правила публикации. Например, если отзыв положительный, то ответ публикуется автоматически. А если отрицательный, то сообщение модерирует человек, а дальше либо сразу публикует, либо предварительно редактирует.

Чтобы добиться отказоустойчивости, стабильной работы и быть готовыми к росту количества обращений, команда Starfish24 создала микросервисную архитектуру и построила облачную инфраструктуру. Асинхронная отправка запросов к YandexGPT API позволила организовать систему очередей задач и не упираться в лимиты. А чтобы ускорить обработку задач, Starfish24 реализовала горизонтальное масштабирование Smart-Reply.AI с помощью управляемых сервисов Kubernetes^®, Apache Kafka^® и PostgreSQL.

Все микросервисы проекта написаны на Go и развёрнуты в контейнерах под управлением Yandex Managed Service for Kubernetes^®. Базово сервис работает так:

1. Коннекторы собирают отзывы и вопросы из подключённых продавцом маркетплейсов.
2. Yandex Managed Service for Apache Kafka^® передаёт данные в основной микросервис для обработки, а затем они сохраняются в базе Yandex Managed Service for PostgreSQL. На этом этапе формируются две отдельные очереди сообщений — на классификацию тем и настроений и на генерацию и публикацию ответов. Этими очередями также управляет Apache Kafka.
3. YandexGPT Lite получает данные и классифицирует вопросы.
4. YandexGPT 3 получает данные, генерирует и отправляет ответы на публикацию.
5. Коннекторы публикуют ответы на маркетплейсах.

При необходимости можно кастомизировать промт под требования клиента и подключить Yandex Managed Service for OpenSearch для RAG-запросов.

В процессе работы над проектом для Ralf Ringer команда Starfish24 столкнулась с необходимостью дообучения модели, генерирующей ответы. YandexGPT Lite хорошо справлялась с классификацией. Но нужно было улучшить качество ответов YandexGPT 3 о процедуре возврата и ассортименте, а также приблизить стилистику к принятому в компании Tone of Voice.

Поэтому Starfish24 дообучала модель с помощью метода RAG (Retrieval Augmented Generation), то есть программно дополняя вопрос информацией из внешних источников. Такой подход сработал лучше, чем общее обучение по тематике или товарной категории. В этом процессе участвовали архитекторы Yandex Cloud, которые консультировали команду по вопросам подготовки датасетов для дообучения модели, реализации метода RAG на практике с помощью облачных сервисов и оптимального составления промтов.

Для дообучения сформировали дополнительный датасет.

Сначала ритейлер предоставил 1000 примеров вида «вопрос — ответ». Так сформировали набор образцовых ответов. Затем коллекцию дополнили ещё 5000 примеров. На сбор датасета и дополнительное обучение потребовалось три недели.

Промты до и после дополнительного обучения значительно различаются.

Вот пример промта без использования базы дообучения:

Покупатель оставил отзыв о товаре {% if product %}"{{ product.name }}"{% endif %}

Ответь на отзыв покупателя лаконично, доброжелательно {% if customer_name %}, обращайся к покупателю по имени {{ customer_name }}{% else %}. Не обращайся к покупателю по имени{% endif %}. Не сообщай, что ты искусственный интеллект. Напиши законченную версию ответа, а не шаблон. Местоимения вам, вас, ваш и другие должны быть с маленькой буквы и использоваться редко.
{% if product %}{% if product.brand %} Заверши ответ словами "С Уважением, Команда {{ product.brand }}"{% endif %}{% endif %}
Контекст:
{% if product %}
Категория товара: {{ product.category }}.
{% if product.description %} Описание товара: {{ product.description }}.{% endif %}
{% if product.attributes %} Дополнительные характеристики товара: {{ product.attributes }}.{% endif %}
{% endif %}
Оценка от покупателя: {{ rating }} из 5.
__
Отзыв покупателя: {{ content }}

Пример промта с дообучением:

{% if product.description %}Описание товара: {{ product.description }}
{% endif %}{% endif %}
Пожалуйста, посмотри на текст ниже и ответь на отзыв покупателя, используя информацию из этого текста.{% if product %}{% if product.brand %} Заверши ответ фразой "С Уважением, Команда {{ product.brand }}"{% endif %}{% endif %}. Местоимения вам вас ваш и др должны быть с маленькой буквы и использоваться редко.
Текст:
-----
Можно ответить например так: {{ FineTuned_suggestion_1 }}
-----
Отзыв покупателя: {{ content }}

Для оценки качества полученных результатов проводили слепое тестирование: сравнивали ответы нейросети и человека. Оценивали сотрудники бренда, не занятые в проекте. Требовалось, чтобы больше 50% сгенерированных ответов были лучше, чем написанные сотрудниками поддержки.

В результате до 80% ответов модели на типовые вопросы получили более высокую оценку качества, чем ответы операторов.

Кроме дообучения специально для Ralf Ringer команда создала ещё один промт, который повторно просит YandexGPT 3 «облегчить» ответ без потери смысла и убирает лишние местоимения «мы», «вас», «ваш», «нам».

В день на площадки Ralf Ringer поступает от 500 до 2000 отзывов клиентов — до внедрения Smart-Reply.AI их обрабатывали два-три сотрудника и не всегда успевали. Кроме того, пользователи ежедневно задают ещё 100–300 вопросов.

Сейчас Smart-Reply.AI отвечает на отзыв или вопрос примерно за десять секунд. Внедрение сервиса позволило снизить нагрузку на сотрудников отдела клиентской поддержки Ralf Ringer в два раза, потому что сервис автоматически отвечает на 60% отзывов. Оставшиеся 40% — это негативные комментарии или сложные вопросы, которые отдел клиентской поддержки обрабатывает вручную.

Сейчас Smart-Reply.AII работает только с Ozon и Wildberries, но Starfish24 планирует интегрировать новые площадки, в частности Яндекс Маркет и Авито.