Анализ эффективности разговорных агентов

На странице Аналитика в Copilot Studio представлена сводная информация об общей эффективности агента во всех сеансах аналитики.

Есть четыре основные области, на которые следует обратить внимание при анализе и повышении эффективности агентов:

• Результаты и вовлеченность: знание конечного результата разговора поможет вам начать определять, где ваш агент преуспевает, а где нуждается в улучшении.
• Использование источника знаний: наблюдение за тем, как часто используются ваши источники знаний, помогает понять, насколько хорошо ваш агент может давать ответы на вопросы пользователей.
• Использование действий: изучение того, как часто используются действия и как часто они успешны, может помочь вам понять, являются ли эти действия полезными и успешными для пользователей.
• Удовлетворенность: просмотр отзывов пользователей помогает выявлять новые сценарии и проблемы пользователей и вносить улучшения непосредственно в соответствии с запросами пользователей.

Вы можете просматривать аналитику по событиям, произошедшим за последние 360 дней.

Заметка

20 февраля 2025 г. срок хранения данных для аналитики изменился с 90 до 360 дней, поэтому вы можете просматривать аналитику только по событиям, произошедшим после 22 ноября 2024 г., даже если они произошли в течение последних 360 дней.

Результаты и взаимодействие

В разделе Результаты и взаимодействие отображается диаграмма, на которой отслеживается тип результата для каждого сеанса между агентом и пользователями.

Чтобы открыть боковую панель с круговой диаграммой с разбивкой по результатам сеанса, вместе с основными темами, которые привели к каждому результату, выберите Подробнее на диаграмме.

Сеанс попадает в одно из следующих двух состояний:

• Без взаимодействия: сеанс начинается, когда пользователь взаимодействует с вашим агентом или когда агент отправляет пользователю упреждающее сообщение. Сеанс начинается в состоянии без взаимодействия.
• С взаимодействием: сеанс становится С взаимодействием при одном из следующих событий:
  • Инициирована несистемная тема
  • Сеанс эскалирован
  • Инициирована резервная тема
  • Инициирована тема улучшения разговорной речи

Как только сеанс становится задействованным, он остается таким. Сеанс с взаимодействием приводит к одному из следующих результатов:

• Эскалация: сеанс завершается и считается эскалированным, когда активируется тема Эскалация или выполняется узел Передать агенту (текущий сеанс аналитики завершается, независимо от того, передан ли разговор агенту-человеку или нет).
• Разрешено: сеанс завершается и считается разрешенным, когда активируется тема Окончание разговора и пользователь подтверждает, что взаимодействие было успешным, или пропускает время ожидания сеанса.
• Прерван: сеанс завершается и считается прерванным, когда через 36 минут истекает время ожидания сеанса с взаимодействием и он не достигает разрешенного или эскалационного состояния.

Вы также можете задать результат для действий с параметром conversationOutcome с помощью редактора кода действия. Например, conversationOutcome: ResolvedConfirmed для подтвержденного успеха или conversationOutcome: ResolvedImplied для неявно предполагаемого успеха.

См. в документации справочника Измерение вовлеченности помощника для предложений и лучших практик по измерению и улучшению вовлеченности.

Использование источника знаний

В разделе Использование источника знаний отображаются диаграмма и метрики, которые показывают, как часто источники базы знаний используются в разговорах между агентом и пользователями.

Он также показывает индикаторы тенденций, показывающие, как часто используются ваши источники, сколько ошибок генерируется и сколько раз источник используется для предоставления ответов на вопросы пользователей.

На диаграмме отображаются пять основных источников знаний, используемых в диапазоне дат, указанном в верхней части страницы Аналитика.

Выберите Подробнее, чтобы открыть боковую панель с информацией об использовании источников знаний и частоте ошибок за выбранный период времени. Эти диаграммы можно использовать, чтобы определить, какие источники знаний лучше всего помогают пользователям, а какие следует улучшить.

• Использование источников знаний показывает процент сеансов, в которых использовался каждый источник знаний, к которому агент имеет доступ.
• Ошибки показывают процент сеансов, в которых использовался каждый тип источника знаний (например, SharePoint), которые привели к ошибке.

Использование действия

В разделе Использование действия отображается диаграмма и метрики, которые показывают, как часто ваши действия запускаются с течением времени и как часто эти действия успешно завершаются.

Он также показывает индикаторы тенденций, показывающие, как часто используются ваши действия и процент вызванных действий, которые были успешно завершены.

Заметка

Аналитика действий доступна для агентов с включенным генеративным режимом.

На диаграмме отображаются пять основных действий, используемых в периоде дат, указанном в верхней части страницы Аналитика.

Чтобы открыть боковую панель со списком всех действий, использованных за указанный период времени, вместе с индикаторами тенденций, выберите Подробнее на диаграмме.

Степень удовлетворенности

В разделе Удовлетворенность отображаются отзывы пользователей, собранные на основе реакций на ответы и результатов опросов.

Обратная связь с пользователями включена по умолчанию. При желании эту функцию можно отключить. Вы также можете добавить или изменить заявление об отказе от ответственности для пользователей в отношении того, как используются их отзывы:

1. Откройте агент, затем перейдите в раздел Параметры и найдите раздел Отзывы пользователей.

2. Установите для параметра Разрешить пользователям оставлять отзывы при использовании этого агента значение Вкл. или Выкл..

3. Добавьте или измените заявление об отказе от ответственности, чтобы пользователи знали, как используются их отзывы. Вы также можете предоставить информацию о конфиденциальности и советы.

Реакции

Диаграмма Реакции показывает, сколько раз пользователи нажимали кнопки «палец вверх» (положительный) или «палец вниз» (отрицательный) для каждого ответа, который они получили от вашего агента.

Результаты опроса

Раздел Результаты опроса показывает диаграмму и метрики, которые отслеживают среднюю оценку удовлетворенности клиентов (CSAT) для сеансов, в которых клиенты отвечают на запрос участия в опросе по завершении сеанса.