Отчет «Форма оценки» в SpeechSense
С помощью отчета Форма оценки в SpeechSense вы можете проанализировать работу операторов и оценить ее качество. Отчеты строятся на основе загруженных в сервис записей разговоров или текстовых сообщений из чатов, где операторы общаются с клиентами. Примеры данных, которые можно получить с помощью отчетов:
- как операторы работают в рамках различных продуктов;
- как часто операторы общаются с клиентами неформально;
- как часто поступает негативная обратная связь от клиентов во время диалога;
- как часто в диалогах встречаются нарушения, выбранные в отчете.
Как формируется отчет
Отчет Форма оценки создается на основе настроек:
- Параметры оценки — определяют список критериев для оценки работы оператора.
- Вес — показывает, насколько параметр оценки критичен для оценки работы.
- Фильтры — применяются к диалогам в отчете.
После того как вы задали основные настройки, можно построить отчет. Он показывает значения параметров оценки в виде графика и таблицы. Пример:
Значение каждого параметра оценки в отчете рассчитывается по формуле:
Где:
value
— значение параметра оценки.criterion
— количество отфильтрованных диалогов, для которых условие в параметре оценки выполнилось.filters
— количество всех отфильтрованных диалогов.weight
— вес параметра оценки в процентах.
Пример. Даны исходные данные:
- Выставлен параметр оценки Теги клиента: Благодарность. Для него задано условие, что клиент поблагодарил оператора минимум три раза в течение разговора.
- Вес параметра — 60%.
- Количество отфильтрованных диалогов, в которых клиент поблагодарил оператора от трех раз, — семь.
- Количество всех отфильтрованных диалогов — четырнадцать.
В результате в построенном отчете для параметра оценки отображается значение:
Параметры оценки
Параметры оценки — это критерии, по которым вы можете оценить работу операторов. Для каждого параметра оценки задается значение или диапазон значений. Сервис SpeechSense анализирует диалог оператора и клиента на наличие указанных в отчете параметров. Если диалог попадает под критерий, указанный в параметре оценки, данные об этом диалоге добавляются в отчет.
Например, в отчете выставлен параметр оценки Оператор прервал собеседника, раз. Для него указан диапазон значений от двух раз. SpeechSense анализирует запись разговора и определяет, сколько раз оператор перебил клиента. Если оператор перебил минимум два раза, информация об этом отображается в отчете.
Параметры оценки делятся на несколько типов:
-
Оператор — данные оператора.
-
Клиент — данные клиента.
-
Бот (только для чатов) — данные бота.
-
Статистики речи (только для аудио) — критерии качества речи оператора и клиента во время разговора. Например, скорость речи оператора или клиента, прерывал ли кто-то из них собеседника.
-
Общие метаданные — данные о записанном разговоре, которые были собраны с помощью АТС, или данные о переписке из чатов. Метаданные загружаются в SpeechSense вместе с записью разговора или перепиской из чата и содержат его основные характеристики. Например, дата, направление и язык диалога.
-
Теги клиента и Теги оператора — классификаторы, которые применяются к результатам распознавания разговора или к текстовым сообщениям из чата. SpeechSense определяет, что в диалоге встретились определенные ключевые слова, фразы или интонации, классифицирует диалог и добавляет к нему тег.
В SpeechSense есть предустановленный набор тегов. Например, с их помощью можно определить, было ли в разговоре неформальное приветствие или прощание, поблагодарил ли оператор клиента за ожидание, обращается ли клиент в службу поддержки повторно. Подробнее о тегах.
-
Анализ от YandexGPT — критерии качества работы оператора и особенности поведения клиента во время диалога. Например, был ли вежливым оператор, хамил ли клиент.
-
Нейропараметры — причины, темы или итоги диалогов. Подробнее о нейропараметрах.
Вес параметра оценки
Вес параметра оценки — это настройка, которая показывает, насколько параметр оценки критичен в оценке работы оператора. Вы выставляете вес в процентах для каждого параметра. В сумме вес всех параметров оценки должен быть равен 100%. Вес влияет на значение каждого параметра оценки, рассчитанное по формуле.
Например, в отчете выставлены два параметра оценки: Скорость речи оператора и Скорость речи клиента. Оператор и клиент разговаривали с одинаковой скоростью, но вес у первого параметра — 70%, а у второго — 30%. Тогда в отчете отображается большее значение для параметра Скорость речи оператора.
Вы можете выставлять различный вес для нескольких параметров оценки с одинаковым названием, но различными значениями. Например, добавлено два параметра оценки Доля тишины в диалоге с диапазонами от 0,1
до 0,3
и от 0,3
. Каждому из диапазонов можно выставить различный вес. Граничное значение 0,3
попадает в оба диапазона и отображается в отчете по обоим параметрам.
Фильтрация в отчете
С помощью фильтрации вы можете отобрать нужные диалоги для отчета. Для этого используйте настройки:
-
Период — промежуток времени, за который строится отчет.
-
Фильтры — для них используется такой же набор полей, что и для параметров.
-
Группировка — вы выбираете, по какому принципу группируются данные в отчете. Группировать можно только по полям метаданных, например:
- по операторам, чтобы изучить качество работы каждого оператора;
- по продуктам, чтобы узнать, в диалогах о каких продуктах операторы совершают меньше ошибок.
Срезы данных зависят от метаданных диалогов. Например, если вы хотите отфильтровать или сгруппировать данные по продуктам, соответствующее поле должно быть в файле метаданных. Если вам нужен новый набор метаданных, подготовьте записи диалогов или чаты с нужными метаданными и загрузите эти записи или чаты.
Отображение данных в отчете и взаимодействие с ними
Отчет показывает количественные характеристики работы операторов. Он доступен в веб-интерфейсе SpeechSense в виде графика и таблицы, также отчет можно скачать в формате CSV.
Форматы, в которых доступен отчет Форма оценки:
-
График — позволяет визуально оценить, какие операторы по каким продуктам совершают меньше ошибок.
Если вы хотите получить детали по какому-либо параметру оценки, перейдите из графика к списку диалогов. Так можно проанализировать ошибку, которая отобразилась в отчете.
-
Таблица — показывает численные значения параметров оценки. Для каждого из этих параметров оценки отображаются два числа:
- количество диалогов, которые удовлетворяют заданному параметру оценки;
- процент этих диалогов от всех отфильтрованных диалогов.
Пример таблицы:
-
CSV-файл — содержит такую же таблицу, как в веб-интерфейсе SpeechSense. Используйте формат CSV, чтобы сохранить отчет локально.
Подписи к параметрам оценки на графике и названия столбцов в таблице и CSV-файле соответствуют значению поля Название параметра в отчете.