注释
本文中的功能由 标准线束驱动,标准线束使用了《许可》中描述的由 标准线束驱动的代理计费选项。 了解如何访问 Access 标准代理和代理流程中的标准功能。
使用Copilot Studio中的向下钻取分析功能深入了解用户与代理的交互。 可以浏览单个用户问题以了解响应质量、识别知识差距,以及用户对代理响应的反应。 您还可以深入查看会话,检查详细的会话数据、跟踪会话结果,并分析各渠道的绩效表现。 并分析用户对代理的响应。 这些详细视图可帮助你了解驱动代理关键指标的基础因素,并查明改进领域。
深入查看用户问题列表
向下钻取以查看导致指标和支持上下文的特定问题,例如代理的响应方式、用户的反应方式以及涉及哪些知识源。 此视图提供对响应质量的更深入的见解,并帮助确定知识覆盖中可能存在的差距。
Important
需具备机器人记录查看器安全角色才能查看列表及其指标。 只有管理员可以通过在代理共享期间分配 机器人脚本查看器 安全角色来授予此角色。
若要在单个或组环境中启用此安全角色,请参阅 如何配置脚本设置。
以下指标面板目前支持向下钻取到问题列表: 生成的答案率和质量 以及 知识源的使用。
要向下钻取问题列表窗口:
- 在 “生成的答案率和质量 ”面板中,选择“ 查看问题”。
- 在 “生成的答案率和质量 ”面板中,将鼠标悬停在上方并选择“ 好 ”或 “差 ”答案栏段。
- 在 “生成的答案率和质量 ”面板中,选择 “已回答”或“未回答” 问题百分比指标。
- 在 “知识源使用 ”面板中,单击任何列出的源,或选择“ 查看所有 ”以打开代理使用的所有知识源的页面,然后选择所需的源。
用户提问列表是根据您深入分析的数据点筛选的。 这反映在问题列表上方的默认筛选器设置中。 例如,在生成的答案质量磁贴中,选择差条形图的无关 条形段,将响应质量筛选器设置为 Irrelevant,以显示列出的问题。
如果需要,可以在列表页上执行以下操作:
- 应用更多筛选 以进一步使用列表的维度筛选器缩小问题列表的范围。
- 根据在评估的测试方法中定义的条件评估列出的问题。
- 将列出的问题下载为.csv文件。
- 请参阅特定于单个问题的详细信息。
问题窗口列表显示以下内容:
| 列 | Description |
|---|---|
| 问题 | 问题已经被提出。 |
| 回答 | 生成式 AI 响应的状态:已回答或未回答。 |
| 响应质量 | 采样问题的响应质量。 可能的值为 Poor 和 Good。 |
| 回应 | 竖起大拇指,向下大拇指或无反应,并可附加文本注释。 |
| 日期 | 回答问题的日期。 |
| 知识来源 | 代理响应中引用的知识源列表。 |
有关详细信息,请选择“ 显示任何问题的详细信息 ”以打开问题详细信息侧面板。 此面板提供有关与每个问题关联的响应质量的其他见解。
| 详细的问题级别参数 | Description |
|---|---|
| 时间戳 | 回答问题的最新实例的时间戳。 |
| 用户查询 | 问题已经被提出。 |
| 响应 | 生成式 AI 响应。 |
| 竖起大拇指/向下拇指值 | Thumbs up/Thumbs down 参数的此问题的最新实例的值。 |
| 评论 | 除了 “点赞”/“踩” 反应之外,用户还可以提供可选的额外文本注释。 |
| 响应质量1 | 回答用户查询响应质量的问题。 可能的值为 Poor 和 Good。 |
| 原因2 | 如果响应质量是 Poor,此参数将解释原因。 |
1 响应质量并非始终可用,仅当对问题进行了采样以供质量分析时才会显示。
2 如果响应质量 Good 或问题未被采样,则 Reason 参数不被赋值。
深入查看会话
深入到会话层次以查看对指标有贡献的特定会话,并检查相关的会话数据。 此更深入的视图可帮助你了解顶级代理指标 背后的原因 和 方式 ,并使你能够识别和调查潜在问题。
使用会话列表分析代理性能,并通过检查导致会话结果(resolved、escalated、abandoned或unengaged)的会话级数据进行调查。 例如,按通道进行筛选,专注于低 CSAT 会话,然后钻取会话数据,深入了解这些渠道中的客户可能遇到不良体验的原因。
向下钻取到会话列表窗口:
- 在 “对话结果 ”面板中,选择“ 查看会话 ”以查看分析期间的所有会话。
- 在 “对话结果 ”面板中,选择“ 查看详细信息”。 这会打开一个关于对话会话结果的更多指标的侧窗格。 选择任何已突出显示的指标图以查看会话过滤列表。
会话列表根据向下钻取的数据点进行筛选。 这反映在会话列表上方的默认筛选器设置中。 例如,在“对话结果”侧窗格中,选择“已解决成果原因”磁贴的“解决已确认”栏段将分别把会话结果和结果原因设置为已解决和已解决已确认。
如果需要,可以在*会话列表页上应用更多筛选,以使用列表的维度筛选器进一步缩小会话列表的范围。 单击任何会话将打开会话脚本窗格。
注释
若要查看会话,必须具有 机器人日志查看器 安全角色。
会话列表每天更新,每天最多显示 10,000 个会话。 仅存储过去 28 天的会话并可供查看。
会话窗口列表按以下参数进行排序:
| 详细的会话级别参数 | Description |
|---|---|
| 开始时间 | 调用会话时的时间戳。 |
| 持续时间 | 与代理的对话长度(以分钟和秒为单位)。 |
| Messages | 在用户和代理之间交换的消息数。 |
| 结果 | 代理会话的结果。 可能的值为 Resolved、Escalated、Abandoned 或 Unengaged。 |
| 结果的原因 | 其他上下文说明会话结果发生的原因(例如系统错误或已隐式解决)。 |
| 频道 | 对话的频道,例如 Teams、智能 Microsoft 365 Copilot 副驾驶®和SharePoint。 |
| 客户满意度 (CSAT) | 会话的客户满意度(CSAT)评级(根据用户反馈)(如果可用)。 |
分析用户反馈和满意度
除了高级指标之外,用户反馈还直接了解用户如何通过反应、评论、调查结果和情绪分析来感知代理的响应。 通过向下钻取用户评论和反应,可以了解用户喜欢或不喜欢特定代理响应、确定用户满意度的趋势,并发现代理擅长或需要改进的特定领域。 这有助于了解用户情绪并不断优化代理的性能。
向下钻取到评论
用户提供反应后,可以留下评论。 在“分析”页上,若要向下钻取到用户批注,请选择“反应”磁贴上的
“批注”图标。
如果需要,可以在 “批注 ”列表页上执行以下操作:
- 应用更多筛选 以进一步使用列表的维度筛选器缩小用户注释列表的范围。
- 根据你在评估测试方法中定义的标准来评估列出的评论。
- 请参阅特定于单个注释的详细信息。
深入查看响应
若要查看贡献于单个用户反应的代理响应列表,请在“反应”饼图上,选择一个“拇指向上”或“拇指向下”扇形区域。 默认情况下,会根据您向下钻取的用户反应筛选代理响应列表(反应 列表)。
如果需要,可以在 “反应 ”列表页上执行以下操作:
- 应用更多筛选 以进一步使用列表的维度筛选器缩小代理响应列表的范围。
- 根据评估的测试方法中定义的条件评估列出的代理响应。
- 请参阅特定于单个代理响应的详细信息。