Примечание.
Для доступа к этой странице требуется авторизация. Вы можете попробовать войти или изменить каталоги.
Для доступа к этой странице требуется авторизация. Вы можете попробовать изменить каталоги.
Используйте функции аналитики в Copilot Studio, чтобы получить более глубокое понимание взаимодействия пользователей с вашим агентом. Вы можете изучить индивидуальные вопросы пользователей, чтобы понять качество ответов, выявить пробелы в знаниях и увидеть, как пользователи реагировали на ответы агентов. Вы также можете углубиться в сессии разговоров, чтобы изучить подробные данные сессий, отслеживать результаты беседы и анализировать результаты по каналам. А также анализируйте ответы пользователей вашему агенту. Эти подробные обзоры помогают понять основные факторы, определяющие ключевые показатели вашего агента, и выделять области для улучшения.
Погрузитесь в список пользовательских вопросов
Изучите конкретные вопросы, повлиявшие на метрику, и поддерживающий контекст, например, как агент отреагировал, как реагировали пользователи и какие источники знаний были задействованы. Такой подход даёт лучшее понимание качества ответа и помогает выявить возможные пробелы в охвате знаний.
Important
Для просмотра списка и его метрик нужна роль безопасности Bot Transcript Viewer. Только администраторы могут предоставить эту роль, назначив безопасность просмотрщика транскриптов ботов во время обмена агентами.
Чтобы включить эту роль безопасности в вашей одиночной или групповой среде, смотрите раздел «Как настроить настройки транскриптов».
В настоящее время поддерживается анализ списка вопросов для следующих метрических панелей: генерированный процент ответов и качество , а также использование источника знаний.
Чтобы перейти к окну списка вопросов:
- В панели « Генерированный уровень ответов и качество » выберите «Смотреть вопросы».
- В панели «Генерированная скорость ответов и качество » наведите курсор и выберите сегмент «Хороший или плохой ».
- Из панели « Генерированный процент ответов и качество » выберите метрику «Отвечен» или «Неотвечен » процент вопросов.
- Из панели использования источников знаний нажмите на любой из перечисленных источников или выберите «Увидеть все », чтобы открыть страницу всех источников знаний, используемых агентом, и выбрать желаемый источник.
Список вопросов пользователя фильтруется по точке данных, на которую вы подробно рассмотрели. Это отражено в настройках фильтра по умолчанию над списком вопросов. Например, выбор сегмента Irrelevant в полосе Bad в плитке Quality of generated answers устанавливает фильтр качества ответа на Irrelevant Response для указанных вопросов.
При желании вы можете выполнить следующие действия на странице списка:
- Применяйте больше фильтров , чтобы сузить список вопросов с помощью размерных фильтров списка.
- Оценивайте перечисленные вопросы в соответствии с критериями, которые вы определили в методе теста оценки.
- Скачайте перечисленные вопросы в виде .csv файла.
- Смотрите подробную информацию, специфичную для конкретного вопроса.
В окне с вопросами отображается следующее:
| Column | Description |
|---|---|
| Вопрос | Вопрос был задан. |
| Ответил | Статус ответа генеративного ИИ: Ответ или Без ответа. |
| Качество отклика | Качество ответов на выборочные вопросы. Возможные значения: Poor и Good. |
| Реакция | Большой палец вверх, большой палец вниз или отсутствие реакции, с необязательным текстовым комментарием. |
| Date | Дата ответа на вопрос. |
| Источник знаний | Список источников информации, указанных в ответе агента. |
Для получения дополнительной информации выберите «Показать детали любого вопроса», чтобы открыть боковую панель с деталями вопроса. Эта панель даёт дополнительные сведения о качестве ответов на каждый вопрос.
| Подробный параметр на уровне вопроса | Description |
|---|---|
| Отметка времени | Временная метка самого последнего случая, когда был получен ответ на вопрос. |
| Запрос пользователя | Вопрос был задан. |
| Ответ | Генеративная реакция ИИ. |
| Значение «Большой палец вверх» / «Большой палец вниз» | Ценность для последнего случая этого вопроса для параметра Thumbs Up / Thumbs Down . |
| Comment | Опциональный дополнительный текстовый комментарий, предоставленный пользователем, а также реакция «Большой палец вверх» / «Палец вниз ». |
| Качествоотклика 1 | Ответ на вопрос о качестве ответа на пользовательский запрос. Возможные значения: Poor и Good. |
| Причина 2 | В случае, когда качество отклика равно Poor, этот параметр объясняет почему. |
1 Качество ответа не всегда доступно и отображается только если вопрос был выбран для анализа качества.
2 Если качество ответа соответствует Good или вопрос не был выбран, параметр Reason не присваивается никакого значения.
Переходите к сессиям
Посмотрите сессии, чтобы увидеть конкретные сессии, которые внесли вклад в метрику, и изучите исходные данные сессий. Такой более глубокий взгляд помогает понять , почему и как лежат в основе метрик высшего уровня агентов, а также позволяет выявлять и исследовать потенциальные проблемы.
Используйте список сессий для анализа работы агентов и расследования, анализируя данные на уровне сессии, которые приводят к результату сессии (resolved, escalated, abandoned, или unengaged). Например, фильтруйте по каналам, сосредоточьтесь на сессиях с низким уровнем CSAT, а затем анализируйте данные сессий, чтобы понять, почему клиенты в этих каналах могут испытывать плохой опыт.
Чтобы углубиться в окно списка сессий:
- В панели «Результаты беседы » выберите «Смотреть сессии », чтобы просмотреть все сессии аналитического периода.
- В панели «Результаты разговора » выберите «Смотреть подробности». Это открывает боковую панель с дополнительными показателями результатов сессий разговора. Выберите на любом выделенном метрическом графике, чтобы просмотреть фильтрующий список сессий.
Список сессий фильтруется по точке данных, которую вы подробно изучали. Это отражено в настройках фильтра по умолчанию над списком сессий. Например, в боковой панели «Результаты разговора » выбор раздела «Разрешенная подтверждённая панель» в баре «Разрешённые причины » определяет исход сессии и причину исхода «Решены» и «Решенные подтверждённые» соответственно.
Если хотите, можно применить дополнительную фильтрацию на странице списка *Сессии , чтобы сузить список сессий с помощью размерных фильтров списка. Клик на любую из сессий откроет панель с расшифровкой сессии.
Note
Чтобы просматривать сессии, у вас должна быть роль безопасности Bot Transcript Viewer .
Список сессий обновляется ежедневно и показывает до 10 000 сессий в день. Только последние 28 дней сессий хранятся и доступны для просмотра.
Список окна сессий отсортирован по следующим параметрам:
| Подробный параметр на уровне сессии | Description |
|---|---|
| Время начала | Временная метка времени запуска сессии. |
| Продолжительность | Длительность разговора с агентом показана в минутах и секундах. |
| Сообщения | Количество сообщений, обменянных между пользователем и агентом. |
| Результат | Результат разговора с агентом. Возможные значения: Resolved, Escalated, Abandoned или Unengaged. |
| Причина исхода | Дополнительный контекст, объясняющий, почему произошёл результат сессии (например, системная ошибка или Resolved подразумевается). |
| Канал | Каналы, где велась беседа, такие как Teams, Microsoft 365 Copilot и SharePoint. |
| CSAT | Оценка удовлетворённости клиентов (CSAT) за сессию, основанная на отзывах пользователей, если она доступна. |
Анализируйте отзывы пользователей и удовлетворённость
Помимо общих метрик, отзывы пользователей дают прямое понимание того, как пользователи воспринимают ответы вашего агента через реакции, комментарии, результаты опроса и анализ настроений. Изучив комментарии и реакции пользователей, вы сможете понять, что им понравилось или не понравилось в конкретных ответах агентов, выявить тенденции в их удовлетворённости и выявить конкретные области, где ваш агент преуспевает или нуждается в улучшении. Это полезно для понимания настроений пользователей и постоянного совершенствования работы вашего агента.
Углубляйтесь в комментарии
После того как пользователь оставляет реакцию, он может оставить комментарий. На странице аналитики, чтобы углубиться в комментарии пользователей, выберите значок 
«Комментарии» на плитке «Реакции».
При желании вы можете выполнить следующие действия на странице списка комментариев :
- Примените больше фильтрации , чтобы сузить список пользовательских комментариев с помощью размерных фильтров списка.
- Оценивайте перечисленные комментарии согласно критериям, которые вы определили в методе тестирования оценки.
- Смотрите подробную информацию, специфичную для отдельного комментария.
Углубляйтесь в реакции
Чтобы углубиться в список ответов агента, влияющих на реакцию отдельного пользователя, на круговой диаграмме реакций выберите один из сегментов с «Большой палец вверх » или «Палец вниз ». По умолчанию список ответов агентов (список реакций ) фильтруется на основе реакции пользователя, которую вы подробно изучали.
При желании вы можете выполнить следующие действия на странице списка реакций :
- Применяйте больше фильтров , чтобы сузить список ответов агентов с помощью размерных фильтров списка.
- Оценивайте указанные ответы агентов по критериям, которые вы определили в методе тестирования оценки.
- См. подробную информацию, специфичную для ответа конкретного агента.