通过 Copilot Studio 中的分析页面,可以综合了解您的代理在分析会话中的整体效率。
在审查和提高代理有效性时,需要关注四个核心领域:
- 结果和参与:了解对话的最终结果有助于您开始确定代理在哪些方面取得了成功,哪些方面需要改进。
- 知识源使用:了解知识源的使用频率有助于您了解您的代理在回答用户问题方面的能力。
- 操作使用:了解操作的使用频率和成功率,有助于了解这些操作对用户是否有用和成功。
- 满意度:查看用户反馈可帮助您识别新的用户场景和问题,并直接根据用户的要求进行改进。
可以查看过去 90 天内发生的事件的分析。
结果和参与情况
结果和参与部分显示的图表跟踪了代理与用户之间每次会话的结果类型。
要打开一个侧边面板,查看会话结果的饼图细目,以及导致每个结果的首要主题,请选择图表上的查看详情。
会话属于以下两种状态之一:
- 未参与:当用户与您的代理交互或代理向用户发送主动消息时,会话将启动。 会话以未参与状态开始。
-
参与:出现以下情况之一时,会话将变为参与:
- 触发了非系统主题
- 会话已升级
- 回退主题被触发
- 会话推进话题被触发
会话进入参与状态后,将保持参与状态。 参与式会话具有以下结果之一:
- 升级:当触发升级主题或运行转移到代理节点时,会话结束并被视为已升级(当前分析会话结束,无论会话是否转移到实时代理)。
- 已解决:当触发结束对话主题,且用户确认交互成功或会话超时时,会话即结束并被视为已解决。
- 已放弃:当参与的会话在 36 分钟后超时且未达到已解决或已升级状态时,会话将结束,被视为已放弃。
您也可以使用操作代码编辑器为带有 conversationOutcome
参数的操作设置结果。 例如,conversationOutcome: ResolvedConfirmed
表示确认成功或 conversationOutcome: ResolvedImplied
表示暗示成功。
有关如何衡量和提高参与度的建议和最佳实践,请参阅指导文档衡量助手参与度。
知识源使用
知识源使用部分显示了一个图表和指标,用于跟踪代理与用户之间的对话中使用知识源的频率。
它还显示趋势指标,说明源的使用频率、生成的错误数量以及源用于为用户问题提供答案的次数。
图表显示在分析页面顶部定义的日期范围内使用最多的五个知识源。
选择查看详情,打开一个侧边面板,显示所选时间段内知识源的使用情况和错误率。 您可以使用这些图表来确定哪些知识源可以很好地帮助用户,以及哪些知识源可以针对用户进行改进。
- 知识源使用显示使用代理可访问的每个知识源的会话百分比。
- 错误显示使用每种知识源类型(例如 SharePoint)并导致错误的会话百分比。
操作使用情况
操作使用部分显示一个图表和指标,用于跟踪一段时间内开始操作的频率,以及这些操作成功完成的频率。
它还会显示操作使用频率的趋势指标,以及成功完成调用操作的百分比。
备注
操作分析适用于已开启生成式模式的代理。
该图表显示在分析页面顶部定义的日期期间内使用最多的五个操作。
要打开侧边面板,查看指定时间段内使用的所有操作列表以及趋势指标,请选择图表上的查看详情。
满意度
满意度部分显示从回复反应和调查结果中收集的用户反馈。
用户反馈默认为打开。 如果需要,您可以关闭此功能。 您还可以为用户添加或编辑关于如何使用其反馈的免责声明:
打开智能体,然后进入设置,找到用户反馈部分。
将让用户在使用此智能体时提供反馈设置为开或 关。
添加或编辑免责声明,以便用户了解其反馈的使用情况。 您还可以提供隐私信息和提示。
反应
反应图表显示用户在收到智能体的每个回复时选择“大拇指朝上(肯定)”或“大拇指朝下(否定)”按钮的次数。
调查结果
调查结果部分显示的图表和指标可追踪会话的平均客户满意度(CSAT)得分,客户在会话结束时会响应调查问卷的请求。