Отчет «Форма оценки» в SpeechSense

С помощью отчета Форма оценки в SpeechSense вы можете проанализировать работу операторов и оценить ее качество. Отчеты строятся на основе загруженных в сервис записей разговоров или текстовых сообщений из чатов, где операторы общаются с клиентами. Примеры данных, которые можно получить с помощью отчетов:

• как операторы работают в рамках различных продуктов;
• как часто операторы общаются с клиентами неформально;
• как часто поступает негативная обратная связь от клиентов во время диалога;
• как часто в диалогах встречаются нарушения, выбранные в отчете.

Как формируется отчетКак формируется отчет

Отчет Форма оценки создается на основе настроек:

• Параметры оценки — определяют список критериев для оценки работы оператора.
• Вес — показывает, насколько параметр оценки критичен для оценки работы.
• Фильтры — применяются к диалогам в отчете.

После того как вы задали основные настройки, можно построить отчет. Он показывает значения параметров оценки в виде графика и таблицы. Пример:

Значение каждого параметра оценки в отчете рассчитывается по формуле:

$value = criterion / filters * weight$

Где:

• value — значение параметра оценки.
• criterion — количество отфильтрованных диалогов, для которых условие в параметре оценки выполнилось.
• filters — количество всех отфильтрованных диалогов.
• weight — вес параметра оценки в процентах.

Пример. Даны исходные данные:

• Выставлен параметр оценки Теги клиента: Благодарность. Для него задано условие, что клиент поблагодарил оператора минимум три раза в течение разговора.
• Вес параметра — 60%.
• Количество отфильтрованных диалогов, в которых клиент поблагодарил оператора от трех раз, — семь.
• Количество всех отфильтрованных диалогов — четырнадцать.

В результате в построенном отчете для параметра оценки отображается значение:

$7 / 14 * 60 = 30$

Параметры оценкиПараметры оценки

Параметры оценки — это критерии, по которым вы можете оценить работу операторов. Для каждого параметра оценки задается значение или диапазон значений. Сервис SpeechSense анализирует диалог оператора и клиента на наличие указанных в отчете параметров. Если диалог попадает под критерий, указанный в параметре оценки, данные об этом диалоге добавляются в отчет.

Например, в отчете выставлен параметр оценки Оператор прервал собеседника, раз. Для него указан диапазон значений от двух раз. SpeechSense анализирует запись разговора и определяет, сколько раз оператор перебил клиента. Если оператор перебил минимум два раза, информация об этом отображается в отчете.

Параметры оценки делятся на несколько типов:

• Оператор — данные оператора.

• Клиент — данные клиента.

• Бот (только для чатов) — данные бота.

• Статистики речи — критерии качества речи оператора и клиента или текстовых сообщений между ними. Например, для аудио — скорость речи оператора или клиента, прерывал ли кто-то из них собеседника, для чатов — количество символов в диалоге, длительность реакции оператора на сообщение клиента.

• Общие метаданные — данные о записанном разговоре, которые были собраны с помощью АТС, или данные о переписке из чатов. Метаданные загружаются в SpeechSense вместе с записью разговора или перепиской из чата и содержат его основные характеристики. Например, дата, направление и язык диалога.

• Теги — классификаторы, которые применяются к результатам распознавания разговора или к текстовым сообщениям из чата. SpeechSense определяет, что в диалоге встретились определенные ключевые слова, фразы или интонации, классифицирует диалог и добавляет к нему тег.

  В SpeechSense есть предустановленный набор тегов. Например, с их помощью можно определить, было ли в разговоре неформальное приветствие или прощание, поблагодарил ли оператор клиента за ожидание, обращается ли клиент в службу поддержки повторно. Подробнее о тегах см. в концепции.

  Вы можете отразить в отчете критерии качества работы оператора и особенности поведения клиента, например был ли оператор вежлив, хамил ли клиент и т. д. Для этого создайте смысловой тег и примените его как параметр в отчете. Подробнее см. в инструкции.

• Смысловые атрибуты — характеристики диалогов, например причины, темы, итоги. Подробнее о смысловых атрибутах см. в концепции.

  В каждом отчете смысловой атрибут можно использовать только один раз: либо в качестве параметра, либо в качестве фильтра.

Вес параметра оценкиВес параметра оценки

Вес параметра оценки — это настройка, которая показывает, насколько параметр оценки критичен в оценке работы оператора. Вы выставляете вес в процентах для каждого параметра. В сумме вес всех параметров оценки должен быть равен 100%. Вес влияет на значение каждого параметра оценки, рассчитанное по формуле.

Например, в отчете выставлены два параметра оценки: Скорость речи оператора и Скорость речи клиента. Оператор и клиент разговаривали с одинаковой скоростью, но вес у первого параметра — 70%, а у второго — 30%. Тогда в отчете отображается большее значение для параметра Скорость речи оператора.

Вы можете выставлять различный вес для нескольких параметров оценки с одинаковым названием, но различными значениями. Например, добавлено два параметра оценки Доля тишины в диалоге с диапазонами от 0,1 до 0,3 и от 0,3. Каждому из диапазонов можно выставить различный вес. Граничное значение 0,3 попадает в оба диапазона и отображается в отчете по обоим параметрам.

Фильтрация в отчетеФильтрация в отчете

С помощью фильтрации вы можете отобрать нужные диалоги для отчета. Для этого используйте настройки:

• Период — промежуток времени, за который строится отчет.

• Фильтры — доступны следующие типы фильтров:

  • Смысловые атрибуты — характеристики диалогов, например причины, темы, итоги. Подробнее о смысловых атрибутах см. в концепции.
  • Оператор — данные оператора.
  • Клиент — данные клиента.
  • Бот (только для чатов) — данные бота.
  • Статистики речи — критерии качества речи оператора и клиента или текстовых сообщений между ними. Например, для аудио — скорость речи оператора или клиента, прерывал ли кто-то из них собеседника, для чатов — количество символов в диалоге, длительность реакции оператора на сообщение клиента.
  • Общие метаданные — данные о записанном разговоре, которые были собраны с помощью АТС, или данные о переписке из чатов. Метаданные загружаются в SpeechSense вместе с записью разговора или перепиской из чата и содержат его основные характеристики. Например, дата, направление и язык диалога.
  • Теги — классификаторы, которые применяются к результатам распознавания разговора или к текстовым сообщениям из чата.

  Вы можете использовать одновременно несколько фильтров. Они будут объединены логической операцией «И». В результате отчет будет строиться по диалогам, которые удовлетворяют всем заданным условиям.

• Группировать по — вы выбираете, по какому принципу группируются данные в отчете. Группировать можно только по полям метаданных, например:

  • по операторам, чтобы изучить качество работы каждого оператора;
  • по продуктам, чтобы узнать, в диалогах о каких продуктах операторы совершают меньше ошибок.

Срезы данных зависят от метаданных диалогов. Например, если вы хотите отфильтровать или сгруппировать данные по продуктам, соответствующее поле должно быть в файле метаданных. Если вам нужен новый набор метаданных, подготовьте записи диалогов или чаты с нужными метаданными и загрузите эти записи или чаты.

Вы также можете добавить фильтры по критериям качества работы оператора и особенностям поведения клиента, например был ли оператор вежлив, хамил ли клиент и т. д. Для этого создайте нужный смысловой тег и примените его в качестве фильтра.

Например, если вас интересуют диалоги, в которых клиент хамил оператору, выберите:

• Смысловой атрибут — Общий вопрос.
• Поисковый запрос — Клиент проявил грубость или агрессию в разговоре хотя бы один раз?

Отображение данных в отчете и взаимодействие с нимиОтображение данных в отчете и взаимодействие с ними

Отчет показывает количественные характеристики работы операторов. Он доступен в веб-интерфейсе SpeechSense в виде графика и таблицы, также отчет можно скачать в формате CSV.

Форматы, в которых доступен отчет Форма оценки:

• График — позволяет визуально оценить, какие операторы по каким продуктам совершают меньше ошибок.

  Если вы хотите получить детали по какому-либо параметру оценки, перейдите из графика к списку диалогов. Так можно проанализировать ошибку, которая отобразилась в отчете.

• Таблица — показывает численные значения параметров оценки. Для каждого из этих параметров оценки отображаются два числа:

  • количество диалогов, которые удовлетворяют заданному параметру оценки;
  • процент этих диалогов от всех отфильтрованных диалогов.

  Пример таблицы:

  

• CSV-файл — содержит такую же таблицу, как в веб-интерфейсе SpeechSense. Используйте формат CSV, чтобы сохранить отчет локально.

Подписи к параметрам оценки на графике и названия столбцов в таблице и CSV-файле соответствуют значению поля Название параметра в отчете.