В будущем нейросеть заработает в сервисе речевой аналитики SpeechSense, который включает в себя технологии Yandex SpeechKit и интегрирован с генеративной нейросетью YandexGPT. Взаимодействие нескольких нейросетей позволит распознать более сложные эмоции спикера, например, неуверенность или сарказм. Также нейросети смогут оценить, насколько оператор действительно погрузился в проблему клиента, пытался ли помочь решению или старался как можно быстрее завершить разговор.
Нейросеть-эмпат поможет бизнесу лучше понять эмоции клиентов
Новая нейросеть распознаёт эмоции человека во время диалога. Это позволит бизнесу лучше анализировать телефонные разговоры, адаптировать работу колл-центров под каждого клиента и оперативно реагировать на внештатные ситуации.
11 марта 2024 г.
5 минут чтения
Нейросеть разработана на базе технологии распознавания речи Yandex SpeechKit. Она уже может определить негатив, неформальные высказывания и нецензурную лексику, а также пол спикера и его фразы в диалоге. С помощью новой нейросети компании смогут создавать голосовых помощников и виртуальных операторов колл-центров, которые умеют понимать человеческие эмоции.
Разработанная нейросеть работает в потоковом режиме — расшифровка и анализ эмоций происходят сразу во время разговора. Например, если абонент негативно общается с голосовым помощником, нейросеть может передать информацию об этом во внутреннюю систему заказчика, которая автоматически переключит его на сотрудника колл-центра. Если же оператор нагрубил клиенту, эта система оповестит менеджмент о проблемах во время разговора.
Нейросеть-эмпат может определять эмоции не только по содержанию речи спикера, но и по голосу: по скорости речи, высоте, тембру и другим параметрам. Разработка также определяет пол участников разговора и поддерживает технологию speaker labeling — она отмечает, кому принадлежит та или иная реплика. Это позволяет полноценно работать с одноканальными звуковыми дорожками, например, при записи с диктофона или при технологических ограничениях виртуальной АТС. Кроме того, расширяются возможности оффлайн-аналитики: данные нейросети помогут понять, какие именно темы и формулировки оператора вызывают негатив у клиента, а также позволят оптимизировать сценарии коммуникации.
«При разработке ML-сервисов мы всегда учитываем обратную связь рынка. Один из запросов наших клиентов и партнёров — умение определять эмоции при распознавании речи. Теперь эта функция доступна каждому пользователю. В будущем в рамках сервиса речевой аналитики SpeechSense мы планируем значительно расширить список распознаваемых эмоций и дать возможность клиентам самим выбирать, какие эмоции им необходимо определять».
Нейросеть-эмпат дополнит семейство языковых моделей Yandex Cloud на основе технологии SpeechKit. Ранее мы представили нейросеть-полиглота, которая может одновременно распознать 16 иностранных языков: английский, французский, датский, финский, турецкий и другие.
