Работа с отчетами
Вы можете использовать отчеты в SpeechSense, чтобы проанализировать диалоги операторов и клиентов и оценить качество работы операторов. Постройте отчет:
- Форма оценки — чтобы проанализировать несколько параметров оценки.
- Сравнение — чтобы сравнить несколько параметров оценки во времени.
- Детализация — чтобы проанализировать изменение одного параметра оценки во времени.
Если вы хотите использовать в качестве фильтра или параметра оценки характеристику диалога, например причину, тему или итог разговора, примените смысловой атрибут в отчете.
Построить отчет «Форма оценки»
-
Откройте главную страницу
SpeechSense. -
Перейдите в нужное пространство, затем выберите нужный проект.
-
Перейдите во вкладку Отчеты.
-
Если в проекте еще нет ни одного сохраненного отчета, выберите Форма оценки. Если в проекте уже есть отчеты, нажмите кнопку Создать отчет → Форма оценки.
-
В открывшемся окне нажмите на поле Период и задайте начальную и конечную даты. В отчет будут добавлены только диалоги, попадающие в указанный период времени.
-
(Опционально) Чтобы отобрать для отчета диалоги с определенными характеристиками:
-
Нажмите кнопку
рядом с полем Период. -
В выпадающем списке выберите характеристику диалога, например,
Оператор
илиПродукт
. -
В зависимости от выбранной характеристики, введите значения, разделенные запятой, или задайте интервал значений.
Совет
Чтобы отфильтровать диалоги по смысловым характеристикам, например темам или итогам, используйте смысловой атрибут в качестве фильтра.
В отчет будут добавлены только те диалоги, которые удовлетворяют выбранным условиям. Вы можете использовать несколько фильтров, применив их один за другим. Подробнее см. в разделе Фильтрация в отчете.
-
-
Нажмите кнопку Группировать по и в выпадающем списке выберите поле метаданных, по которому нужно сгруппировать данные в отчете. Подробнее см. в разделе Фильтрация в отчете.
-
Нажмите кнопку
Добавить параметр. -
Задайте настройки параметра оценки:
-
В поле Параметры оценки выберите нужный параметр и укажите его значение либо диапазон значений.
Параметры оценки служат критериями, по которым можно оценить качество работы операторов. Подробнее о параметрах и формировании отчета по ним см. в разделе Параметры оценки.
Если вы хотите использовать в качестве параметра оценки характеристику диалога, например причину, тему или итог разговора, используйте смысловой атрибут.
-
В поле Вес укажите значение в процентах.
Вес показывает, насколько параметр важен для оценки работы. Чем больше вес параметра, тем больше значение этого параметра в отчете. В сумме вес всех параметров оценки должен быть равен 100%. Подробнее о весе и его использовании см. в разделе Вес параметра оценки.
-
(Опционально) В поле Название параметра в отчете укажите название, которое будет использовано для подписи параметра на графике и в таблице. По умолчанию это название совпадает со значением поля Параметры оценки.
-
-
При необходимости добавьте другие параметры оценки с помощью кнопки
Добавить параметр. -
Нажмите кнопку Создать отчет.
-
Чтобы использовать отчет повторно, нажмите кнопку Сохранить отчет. Укажите его название и (опционально) описание.
Отчет будет доступен в выбранном проекте на вкладке Отчеты.
Перейти из отчета «Форма оценки» к диалогам
Отчет позволяет напрямую перейти к списку диалогов, для которых выполняются заданные в отчете настройки. Так вы сможете получить больше информации о диалогах и проанализировать найденные в них особенности.
Чтобы перейти из отчета к списку диалогов:
- Постройте отчет Форма оценки.
- В графике в отчете нажмите на прямоугольник нужного параметра оценки. Откроется список диалогов, которые соответствуют заданным фильтрам и выбранному параметру.
- Перейдите к нужному диалогу. На его странице отображается подробная информация о нем. Например, результаты работы оператора в резюме диалога, теги оператора и клиента, текст аудиозаписи, распознанный средствами SpeechSense.
Построить отчет «Сравнение»
-
Откройте главную страницу
SpeechSense. -
Перейдите в нужное пространство, затем выберите нужный проект.
-
Перейдите во вкладку Отчеты.
-
Если в проекте еще нет ни одного сохраненного отчета, выберите Сравнение. Если в проекте уже есть отчеты, нажмите кнопку Создать отчет → Сравнение.
-
В открывшемся окне нажмите на поле Период и задайте начальную и конечную даты. В отчет будут добавлены только диалоги, попадающие в указанный период времени.
-
(Опционально) Чтобы отобрать для отчета диалоги с определенными характеристиками:
-
Нажмите кнопку
рядом с полем Период. -
В выпадающем списке выберите характеристику диалога, например,
Оператор
илиПродукт
. -
В зависимости от выбранной характеристики, введите значения, разделенные запятой, или задайте интервал значений.
Совет
Чтобы отфильтровать диалоги по смысловым характеристикам, например темам или итогам, используйте смысловой атрибут в качестве фильтра.
В отчет будут добавлены только те диалоги, которые удовлетворяют выбранным условиям. Вы можете использовать несколько фильтров, применив их один за другим. Подробнее см. в разделе Фильтрация в отчете.
-
-
Нажмите кнопку Группировать по и в выпадающем списке выберите поле метаданных, по которому нужно сгруппировать данные в отчете. Подробнее см. в разделе Фильтрация в отчете.
-
Нажмите кнопку
Добавить параметр и выберите нужный.Подробнее о параметрах и формировании отчета по ним см. в разделе Параметры оценки.
-
Укажите, какие данные вы хотите получить: сумма значений параметра оценки, среднее, минимальное или максимальное значение параметра оценки.
В отчете Сравнение можно выбрать только численные параметры оценки. Если выбрать тег в качестве параметра, за указанный период считается суммарное, среднее, минимальное или максимальное количество раз, когда тег был назначен на диалоги.
-
Укажите еще параметры оценки с помощью кнопки
Добавить параметр. -
Нажмите кнопку Создать отчет.
-
Чтобы использовать отчет повторно, нажмите кнопку Сохранить отчет. Укажите его название и (опционально) описание.
Отчет будет доступен в выбранном проекте на вкладке Отчеты.
Построить отчет «Детализация»
-
Откройте главную страницу
SpeechSense. -
Перейдите в нужное пространство, затем выберите нужный проект.
-
Перейдите во вкладку Отчеты.
-
Если в проекте еще нет ни одного сохраненного отчета, выберите Детализация. Если в проекте уже есть отчеты, нажмите кнопку Создать отчет → Детализация.
-
В открывшемся окне нажмите на поле Период и задайте начальную и конечную даты. В отчет будут добавлены только диалоги, попадающие в указанный период времени.
-
(Опционально) Чтобы отобрать для отчета диалоги с определенными характеристиками:
-
Нажмите кнопку
рядом с полем Период. -
В выпадающем списке выберите характеристику диалога, например,
Оператор
илиПродукт
. -
В зависимости от выбранной характеристики, введите значения, разделенные запятой, или задайте интервал значений.
Совет
Чтобы отфильтровать диалоги по смысловым характеристикам, например темам или итогам, используйте смысловой атрибут в качестве фильтра.
В отчет будут добавлены только те диалоги, которые удовлетворяют выбранным условиям. Вы можете использовать несколько фильтров, применив их один за другим. Подробнее см. в разделе Фильтрация в отчете.
-
-
Нажмите кнопку Группировать по и в выпадающем списке выберите поле метаданных, по которому нужно сгруппировать данные в отчете. Подробнее см. в разделе Фильтрация в отчете.
-
Нажмите кнопку
Добавить параметр. -
Выберите параметр оценки, изменение значений которого вы хотите посмотреть.
Подробнее о параметре и формировании отчета по нему см. в разделе Параметр оценки.
-
Укажите, какие данные вы хотите получить: сумма значений параметра оценки, среднее, минимальное или максимальное значение параметра оценки.
В отчете Детализация можно выбрать только численные параметры оценки. Если выбрать тег в качестве параметра, за указанный период считается суммарное, среднее, минимальное или максимальное количество раз, когда тег был назначен на диалоги.
-
Нажмите кнопку Создать отчет.
-
Чтобы использовать отчет повторно, нажмите кнопку Сохранить отчет. Укажите его название и (опционально) описание.
Отчет будет доступен в выбранном проекте на вкладке Отчеты.
Применить смысловой атрибут в отчете
Смысловой атрибут — это характеристика диалога, которая задает контекст для анализа по поисковому запросу. SpeechSense анализирует диалог и определяет, насколько он соответствует по смыслу поисковому запросу в контексте выбранного смыслового атрибута.
Например, вы выбрали смысловой атрибут Темы и задали поисковый запрос
Отдых в Сочи
. SpeechSense проанализирует диалоги и определит, соответствует ли по смыслу их тема запросуОтдых в Сочи
.
Вы можете применить смысловой атрибут в отчете:
-
Как фильтр диалогов (в отчетах Форма оценки, Сравнение и Детализация). В отчет попадут только те диалоги, которые соответствуют или не соответствуют запросу в контексте выбранного смыслового атрибута.
Например, вы используете смысловой атрибут Темы и поисковый запрос
Отдых в Сочи
в качестве фильтра. Тогда в отчет попадут только те диалоги, тема которых соответствует или не соответствует запросуОтдых в Сочи
, в зависимости от вашего выбора. -
Как параметр оценки (только в отчете Форма оценки). Смысловой атрибут будет одним из критериев, по которым оценивается работа оператора.
Например, вы используете смысловой атрибут Итоги и поисковый запрос
Клиент забронировал тур
в качестве одного из параметров оценки. В таком случае работа оператора будет оцениваться по тому, соответствует ли итог диалога запросуКлиент забронировал тур
.В каждом отчете Форма оценки смысловой атрибут можно использовать только один раз: либо в качестве параметра, либо в качестве фильтра.
Чтобы применить смысловой атрибут к диалогам в отчетах:
-
В окне создания отчета нажмите кнопку
рядом с полем Период. В выпадающем списке выберите Смысловой атрибут. -
В открывшемся окне Настройка смыслового атрибута задайте период, за который будут отобраны диалоги для настройки смыслового атрибута. При необходимости добавьте фильтры. В результате отобразится число диалогов в выборке.
SpeechSense проанализирует заданную выборку диалогов и сгенерирует подсказки для заданного смыслового атрибута. Для этого требуется минимум 100 диалогов, иначе SpeechSense не сможет провести достоверный анализ. Ограничения на максимальное количество диалогов нет, но если в выборке будет больше 1000 диалогов, SpeechSense отберет для анализа только 1000 диалогов случайным образом.
Если данных в выборке не хватает или слишком много, отрегулируйте период и фильтры.
Примечание
Заданные в окне Настройка смыслового атрибута период и фильтры определяют только выборку диалогов, по которой будет настраиваться смысловой атрибут, и не влияют на фильтрацию диалогов для отчета.
-
В разделе Критерии YandexGPT выберите смысловой атрибут.
-
Установите курсор в строку справа от смыслового атрибута и дождитесь, когда появятся подсказки.
В это время сервис SpeechSense проводит смысловой анализ диалогов в выборке и генерирует подсказки для заданного смыслового атрибута. Если в выборке для анализа больше 1000 диалогов и сгенерированные подсказки вас не устраивают, вы можете нажать кнопку Обновить. SpeechSense заново выберет 1000 диалогов случайным образом и сгенерирует новые подсказки.
-
Выберите одну из подсказок или введите свой запрос.
-
Нажмите кнопку Найти.
После этого SpeechSense снова проанализирует диалоги и отобразит результаты в виде двух колонок — с диалогами, которые соответствуют и не соответствуют заданным условиям.
Если предложенная группировка диалогов вас не устраивает, измените смысловой атрибут или поисковый запрос. После этого диалоги будут перегруппированы. Поменять критерий или запрос может понадобиться несколько раз.
-
Когда группировка диалогов станет подходящей, укажите, какую группу использовать.
Например, если вы задали критерий Темы, нажмите одну из двух кнопок:
- Cодержат тему — чтобы использовать в отчете только диалоги на указанную тему;
- Не содержат тему — чтобы использовать в отчете диалоги на любую тему, кроме указанной.
Примечание
Представленные в колонках диалоги не обязательно совпадают с теми, которые фактически попадут в отчет. Расхождение может появиться, если при настройке смыслового атрибута и формировании отчета использовались разные периоды или фильтры.
После этого вы можете добавить дополнительные фильтры и параметры и построить отчет.
-
В окне создания отчета нажмите кнопку
Добавить параметр. В выпадающем списке выберите Смысловой атрибут. -
В открывшемся окне Настройка смыслового атрибута задайте период, за который будут отобраны диалоги для настройки смыслового атрибута. При необходимости добавьте фильтры. В результате отобразится число диалогов в выборке.
SpeechSense проанализирует заданную выборку диалогов и сгенерирует подсказки для заданного смыслового атрибута. Для этого требуется минимум 100 диалогов, иначе SpeechSense не сможет провести достоверный анализ. Ограничения на максимальное количество диалогов нет, но если в выборке будет больше 1000 диалогов, SpeechSense отберет для анализа только 1000 диалогов случайным образом.
Если данных в выборке не хватает или слишком много, отрегулируйте период и фильтры.
Примечание
Заданные в окне Настройка смыслового атрибута период и фильтры определяют только выборку диалогов, по которой будет настраиваться смысловой атрибут, и не влияют на фильтрацию диалогов для отчета.
-
В разделе Критерии YandexGPT выберите смысловой атрибут.
-
Установите курсор в строку справа от смыслового атрибута и дождитесь, когда появятся подсказки.
В это время сервис SpeechSense проводит смысловой анализ диалогов в выборке и генерирует подсказки для заданного смыслового атрибута. Если в выборке для анализа больше 1000 диалогов и сгенерированные подсказки вас не устраивают, вы можете нажать кнопку Обновить. SpeechSense заново выберет 1000 диалогов случайным образом и сгенерирует новые подсказки.
-
Выберите одну из подсказок или введите свой запрос.
-
Нажмите кнопку Найти.
После этого SpeechSense снова проанализирует диалоги и отобразит результаты в виде двух колонок — с диалогами, которые соответствуют и не соответствуют заданным условиям.
Если предложенная группировка диалогов вас не устраивает, измените смысловой атрибут или поисковый запрос. После этого диалоги будут перегруппированы. Поменять критерий или запрос может понадобиться несколько раз.
-
Когда группировка диалогов станет подходящей, укажите, какую группу использовать.
Например, если вы задали критерий Темы, нажмите одну из двух кнопок:
- Cодержат тему — чтобы использовать в качестве критерия оценки соответствие диалога заданной теме.
- Не содержат тему — чтобы использовать в качестве критерия оценки несоответствие диалога заданной теме.
Примечание
Представленные в колонках диалоги не обязательно совпадают с теми, которые фактически попадут в отчет. Расхождение может появиться, если при настройке смыслового атрибута и формировании отчета использовались разные периоды или фильтры.
После этого вы можете добавить дополнительные параметры и фильтры и построить отчет.
Использовать смысловые и смысловые Pro-теги для оценки диалога
Смысловые теги помогут оценить качество работы оператора и особенности поведения клиента, например, был ли вежливым оператор, хамил ли клиент и т. д. Для этого:
-
При создании выберите нужный смысловой атрибут и задайте соответствующий поисковый запрос.
Например, если вас интересуют диалоги, в которых клиент хамил оператору, выберите:
- Смысловой атрибут — Общий вопрос.
- Поисковый запрос — Клиент проявил грубость или агрессию в разговоре хотя бы один раз?
-
Примените смысловой тег как параметр в отчете.
Смысловые Pro-теги помогут оценить качество работы оператора и особенности поведения клиента с учетом сложных смысловых критериев, например, смог ли оператор продать тур без предложения скидки клиенту. Для этого:
-
При создании задайте соответствующий поисковый запрос.
Например, если вас интересуют диалоги, в которых клиент купил тур на Мальдивы без предложения скидки, укажите поисковый запрос — покупка тура на Мальдивы без предложения скидки.
-
Примените смысловой Pro-тег как параметр в отчете.