Copilot Studio 中的 Analytics 页提供有关您的代理在 分析会话 中整体有效性的综合见解。 此页面被划分为侧重于不同表现上下文的多个核心部分。 页面上还显示一个概览部分，提供有关智能体的高级关键绩效指标（KPI）；一个节省部分，分析由智能体或智能体工具实现的时间和成本节省；以及一个摘要部分，提供对智能体表现的关键分析见解。
有关以下内容的更多信息：
- 摘要和概览区域请参阅分析概述
- 在节省区域，参见分析代理的时间和成本节省
在审查和提高对话智能体的有效性时，需要关注六个核心部分：
- 主题： 主题 通过将用户问题聚类化为 AI 建议的类别来帮助你获取分析见解。
- 对话结果：了解会话的最终结果有助于开始确定代理成功的位置以及需要改进的位置。
- 代理：查看子代理及连接代理的呼叫量指标、成功率及当前状态。
- 生成的答案率和质量：了解代理何时难以为用户问题提供答案，以及它如何使用知识源来帮助你找到提高代理的答案率和质量的方法。
- 工具使用：了解工具的使用频率及其成功频率可帮助你了解这些工具是否对用户有用且成功。
- 有效性：查看用户反馈有助于识别新的用户方案和问题，并根据用户要求的内容直接做出改进。
您可以查看过去 90 天内发生的事件的分析。
对话结果
对话结果部分显示的图表记录了代理与用户之间每个会话的结果类型。
图表（无论显示为堆叠直方图还是堆叠面积图）通过颜色编码和类型堆叠方式，可视化呈现各类结果的相对数量。 每个已解决、已升级、放弃和未参与状态在每个数据点中均以对应颜色标示。 y 轴显示会话数量。
若需查看特定日期（单个数据点）的具体结果指标，请将鼠标悬停于目标日期下对应结果的区域（例如放弃结果的蓝绿色区域）。 示例中显示：11 月 24 日共发生 90 次放弃会话，占当日所有会话结果的 35.6%。
在图表下方图例中，悬停于任意结果标签可高亮显示该结果在图表中的分布。
通过选择（开启或关闭）图例中的一个或多个标签，可显示或隐藏堆叠面积图中的相应结果。 当出现以下情况时，此操作将使剩余结果更加清晰：
- 单个结果线在视觉上彼此靠近。
- 需要更清晰地观察趋势线走向（无论是上升还是下降），但堆叠结果的总体趋势使趋势线趋于平缓
注释
通过此方式移除图表中的结果时，该结果将从显示结果的整体池中剔除。 移除显示结果会改变剩余结果相对于整体池的百分比值，因为这改变了比率的分母。
在下例中，图表中移除了升级和未涉及标签。 工具提示显示 11 月 23 日存在 95 次放弃会话，占图表中剩余可见结果的 60.5%（即已解决 + 与放弃结果之和）。
若要下载聊天结果数据（图形中可视化的数据），请选择菜单图标 
，然后选择“ 下载 CSV”。
注释
若下载图表时存在被移除的结果类型，其数据将不会出现在 CSV 文件中。
点击图表中的查看详情可展开侧边面板，查看对话结果的详细信息。 对话结果侧边面板包含：
- 显示会话结果的饼图分布，呈现以下结果类型的相对权重（百分比形式）：已解决、已升级及已放弃结果的相对权重（百分比）。
- 堆叠条形图展示了所有已解决会话结果中确认解决与暗示解决的结果原因及其相对权重（以百分比表示）。
- 一个堆叠条形图，显示所有升级会话结果中系统预期、系统非预期和用户请求结果原因的相对权重（百分比）。
- 导致每种结果的重要主题。
注释
将鼠标悬停在饼图或堆叠条形图的任何扇区上，即可查看包含原始计数信息的工具提示。
会话属于以下两种状态之一：
未参与：当用户与您的智能体交互或智能体向用户发送主动消息时，会话将启动。 会话以未参与状态开始。
参与：用户主动与代理交互。 基于代理的编排模式，行为表现存在差异。
经典协调机制：当以下任一主题被触发时，会话即被激活：
- 用户直接触发的自定义主题
- 提升话题
- 备用主题
- 提升对话效果主题
生成式 AI 编排：当用户直接触发计划并包含以下元素之一时，会话进入互动状态：
- 非系统主题
- 提升话题
- 备用主题
- 知识来源
- 工具
参与的会话具有以下结果之一：
| 结果类别 | 结果 | Description |
|---|---|---|
| 已解决 | 会话成功结束。 有两种类型的已解析会话：解析已确认和解析隐式。 | |
| 已确认解决 | 当触发对话结束主题且用户确认交互成功时，该会话被视为已确认解决。 | |
| 隐含问题已解决 | 当会话在未获用户确认的情况下，基于智能体判断逻辑完成时，该会话被视为隐含解决。
解析的隐含状态取决于您的代理是使用经典还是生成式AI编排： - 经典编排：当触发结束对话主题且用户未确认即让会话超时时，该会话被视为隐含解决。 - 生成式 AI 编排：当会话超时且没有剩余活动计划时，视为隐含解决。 正在等待用户输入的计划即为一个活跃计划。 |
|
| 已呈报 | 当触发升级主题或运行转接到代理节点时，会话结束并被视为已升级（当前分析会话结束，无论会话是否转移到人工代理）。 升级会话分为三类：系统计划、系统非预期和用户请求。 | |
| 系统预设 | 会话因制作者设定的自动业务规则而自动升级。 升级是对话中预期的结果，不需要调查或改变。 示例：用户希望向第三方转账超过 25,000 美元。 该金额超出业务规则的阈值，因此会话自动升级。 |
|
| 系统非预期 | 会话由于超出制作者设定的一个或多个阈值，系统将自动升级。 通常，这种结果表明用户被困在对话中，需要帮助。 示例：某会话因三次执行特定任务失败而被升级。 |
|
| 用户请求 | 因对话过程中存在明确的用户请求而升级会话。 示例：用户输入 Transfer me to an agent。 |
|
| 放弃 | 当参与的会话在 30 分钟后超时且未达到已解决或已升级状态时，会话将结束，被视为已放弃。 |
您还可以通过工具代码编辑器，使用参数 conversationOutcome 设置工具的结果。 例如，conversationOutcome: ResolvedConfirmed 表示确认成功或 conversationOutcome: ResolvedImplied 表示暗示成功。
请参阅关于 衡量参与 度的指导文档，获取衡量和提升参与度的建议和最佳实践。
代理
智能体列表显示主要智能体的已连接智能体和子智能体的高级数量、性能和状态指标。 此列表在类型列中显示所列智能体与主智能体之间的关系类型。 如果智能体是子智能体，其类型为 Child。 连接的代理被标记为某一类型，以反映它们的创建位置（例如，Copilot Studio，Azure AI Foundry）。 每个列出的智能体的通话指标描述从主智能体到已连接智能体或子智能体的通话量。
成功率反映成功完成的通话比例（占所有通话的百分比 %）。
状态指示每个已连接代理和子代理的单独管理状态。
默认情况下，智能体列表显示主要智能体的前五 (5) 个关联智能体和子智能体，按问题总数从高到低排列。 如果有五个以上智能体，选择查看全部将显示所有智能体。
注释
只有当超过五个已连接或子代理连接到你的主代理时，查看全部按钮才会显示。
生成的答复率与质量
借助生成式答案，您的智能体可以利用 AI，结合您提供的知识来源和说明，生成对用户查询的答案。 但是，代理可能不能回答所有用户查询。 生成的答案率和质量部分跟踪、组织和分析未回答的查询和答案质量，以指导你提高代理的答案性能。
答案率显示所选时间段内已回答和未回答的问题数，以及一段时间内的百分比变化。
答案质量 使用 AI 衡量答案的质量。 Copilot Studio 查看一组回答的问题示例，并分析不同的质量，包括响应的完整性、相关性和基础性。 如果答案符合设定的标准，Copilot Studio 会将答案标记为 “质量良好 ”。 Copilot Studio 将不符合该标准的答案标记为 “质量差 ”。 对于 差 答案，Copilot Studio 会分配质量分级的原因，并显示分配给每个类别的答案百分比。
将鼠标悬停在图表柱状图的任意分段上，即可查看良好或欠佳质量标签中单个原因的相对权重。 工具提示同时显示用于计算百分比值的采样答复数量。
在图表下方的图例中，将鼠标悬停在任一质量标签的原因上，可在图表上突出显示该原因。
选择“ 查看问题 ”以查看配置时间段 内所有问题的未筛选列表 。
选择“ 查看详细信息 ”以打开一个侧面板，其中包含问题解答率、知识源使用情况和所选时间段内的错误率。 您可以使用这些图表来确定哪些知识源可以很好地帮助用户，以及哪些知识源可以针对用户进行改进。
如果智能体具有子智能体，在侧面板中，选择全部将显示主要智能体和子智能体的指标，选择主要智能体将仅显示主要智能体的指标，选择子智能体将仅显示子智能体的指标。
- 知识源使用显示使用智能体可访问的每个知识源的会话百分比。
- 所有来源 显示使用每个知识源的问题百分比。
- Errors显示导致每个知识源类型的知识相关错误的查询百分比（例如，SharePoint）。
在所有源下，要在列出的任一知识源级别查看更多信息，选择单个源。 工具提示包括：
- 引用此知识源的问题总数，以及好评和差评反应的数量。
- 显示引用此知识源的问题的响应质量相对权重分布的堆积条形图。 将鼠标悬停在条形图的任何段上，可以查看该段的相对权重值以及被采样以到达该值的问题数。
深入查看用户问题列表
向下钻取以查看导致指标和支持上下文的特定问题，例如代理的响应方式、用户的反应方式以及涉及哪些知识源。 此视图提供对响应质量的更深入的见解，并帮助确定知识覆盖中可能存在的差距。
重要
需具备机器人记录查看器安全角色才能查看列表及其指标。 只有管理员可以通过在代理共享期间分配 机器人脚本查看器 安全角色来授予此角色。
若要在单个或组环境中启用此安全角色，请参阅 如何配置脚本设置。
以下指标面板目前支持向下钻取到问题列表： 生成的答案率和质量 以及 知识源的使用。
要向下钻取问题列表窗口：
- 在 “生成的答案率和质量 ”面板中，选择“ 查看问题”。
- 在 “生成的答案率和质量 ”面板中，将鼠标悬停在上方并选择“ 好 ”或 “差 ”答案栏段。
- 在 “生成的答案率和质量 ”面板中，选择 “已回答”或“未回答” 问题百分比指标。
- 在 “知识源使用 ”面板中，选择“ 查看详细信息 ”以打开 知识源使用 侧面板，选择所需的源，然后选择弹出窗口中的 “查看问题 ”。
用户提问列表是根据您深入分析的数据点筛选的。 这反映在问题列表上方的默认筛选器设置中。 例如，在生成的答案质量磁贴中，选择差条形图的无关 条形段，将响应质量筛选器设置为 Irrelevant，以显示列出的问题。
如果需要，可以在列表页上执行以下操作：
- 应用更多筛选 以进一步使用列表的维度筛选器缩小问题列表的范围。
- 根据在评估的测试方法中定义的条件评估列出的问题。
- 将列出的问题下载为.csv文件。
- 请参阅特定于单个问题的详细信息。
问题窗口列表显示以下内容：
| 列 | Description |
|---|---|
| 问题 | 问题已经被提出。 |
| 回答 | 生成式 AI 响应的状态：已回答或未回答。 |
| 响应质量 | 采样问题的响应质量。 可能的值为 Poor 和 Good。 |
| 回应 | 竖起大拇指，向下大拇指或无反应，并可附加文本注释。 |
| Date | 回答问题的日期。 |
| 知识来源 | 代理响应中引用的知识源列表。 |
有关详细信息，请选择“ 显示任何问题的详细信息 ”以打开问题详细信息侧面板。 此面板提供有关与每个问题关联的响应质量的其他见解。
| 详细的问题级别参数 | Description |
|---|---|
| 时间戳 | 回答问题的最新实例的时间戳。 |
| 用户查询 | 问题已经被提出。 |
| 响应 | 生成式 AI 响应。 |
| 竖起大拇指/向下拇指值 | Thumbs up/Thumbs down 参数的此问题的最新实例的值。 |
| Comment | 除了 “点赞”/“踩” 反应之外，用户还可以提供可选的额外文本注释。 |
| 响应质量1 | 回答用户查询响应质量的问题。 可能的值为 Poor 和 Good。 |
| 原因2 | 如果响应质量是 Poor，此参数将解释原因。 |
1 响应质量并非始终可用，仅当对问题进行了采样以供质量分析时才会显示。
2 如果响应质量 Good 或问题未被采样，则 Reason 参数不被赋值。
深入查看会话
深入到会话层次以查看对指标有贡献的特定会话，并检查相关的会话数据。 此更深入的视图可帮助你了解顶级代理指标 背后的原因 和 方式 ，并使你能够识别和调查潜在问题。
使用会话列表分析代理性能，并通过检查导致会话结果（resolved、escalated、abandoned或unengaged）的会话级数据进行调查。 例如，按通道进行筛选，专注于低 CSAT 会话，然后钻取会话数据，深入了解这些渠道中的客户可能遇到不良体验的原因。
向下钻取到会话列表窗口：
- 在 “对话结果 ”面板中，选择“ 查看会话 ”以查看分析期间的所有会话。
- 在 “对话结果 ”面板中，选择“ 查看详细信息”。 这会打开一个关于对话会话结果的更多指标的侧窗格。 选择任何已突出显示的指标图以查看会话过滤列表。
会话列表根据向下钻取的数据点进行筛选。 这反映在会话列表上方的默认筛选器设置中。 例如，在“对话结果”侧窗格中，选择“已解决成果原因”磁贴的“解决已确认”栏段将分别把会话结果和结果原因设置为已解决和已解决已确认。
如果需要，可以在*会话列表页上应用更多筛选，以使用列表的维度筛选器进一步缩小会话列表的范围。 单击任何会话将打开会话脚本窗格。
注释
若要查看会话，必须具有 机器人日志查看器 安全角色。
会话列表每天更新，每天最多显示 10,000 个会话。 仅存储过去 28 天的会话并可供查看。
会话窗口列表按以下参数进行排序：
| 详细的会话级别参数 | Description |
|---|---|
| 开始时间 | 调用会话时的时间戳。 |
| 持续时间 | 与代理的对话长度（以分钟和秒为单位）。 |
| 消息 | 在用户和代理之间交换的消息数。 |
| 结果 | 代理会话的结果。 可能的值为 Resolved、Escalated、Abandoned 或 Unengaged。 |
| 结果的原因 | 其他上下文说明会话结果发生的原因（例如系统错误或已隐式解决）。 |
| 通道 | 对话的频道，例如 Teams、智能 Microsoft 365 Copilot 副驾驶®和SharePoint。 |
| 客户满意度 (CSAT) | 会话的客户满意度（CSAT）评级（根据用户反馈）（如果可用）。 |
工具使用
“工具使用”部分显示一个图表和指标，用于跟踪工具随时间推移启动的频率，以及代理成功使用这些工具的频率。 它还显示了代理使用每个工具频率的趋势指标，以及成功调用工具的百分比。
图表显示在分析页面顶部定义的日期期间内使用最多的五个工具。
在图表下方的图例中，将鼠标悬停在任意工具上可使该工具在图表中突出显示。
若要打开侧面板，其中包含指定时间段内使用的所有工具的列表以及趋势指示器，请选择图表上的 “查看详细信息 ”。 在工具使用面板中，可以显示每个工具所用问题百分比的计算。 如果智能体具有子智能体，可以选择同时显示主要智能体和子智能体（全部）、仅主要智能体或仅子智能体的计算。
有效性
“有效性”部分显示从会话的反应、代理响应、调查结果和情绪评分中收集的用户反馈。 满意度分为多个子部分：
- 反馈：用户响应，包括点赞/点踩反馈，以及对特定客服响应的用户评论。
- 客户满意度：显示客户满意度（CSAT）分数。
- 情绪 （预览）：整个会话的基于 AI 的情绪分析。
反馈数据存储在 Dataverse 中的对话脚本表中。 有关支持此功能的渠道列表，请参阅功能详细信息。
反应
反应 部分显示了用户对代理响应的反应所收集的反馈。 图表统计用户对您代理提供的每个响应选择点赞（正面）或点踩（负面）按钮的次数。
注释
- 发布到 智能 Microsoft 365 Copilot 副驾驶® 通道的代理不支持反应功能。
- 查看评论需具备机器人对话记录查看器安全角色权限。
用户反应默认 为 On 。 如果需要，您可以关闭此功能。 您还可以为用户添加或编辑关于如何使用其反馈的免责声明：
打开智能体，然后进入设置，找到用户反馈部分。
将对代理消息的用户反应收集功能设置为开或关。
添加或编辑免责声明，让用户了解其反馈的使用情况。 您还可以提供隐私信息和提示。
向下钻取到评论
用户提供反应后，可以留下评论。 在“分析”页上，若要向下钻取到用户批注，请选择“反应”磁贴上的
“批注”图标。
如果需要，可以在 “批注 ”列表页上执行以下操作：
- 应用更多筛选 以进一步使用列表的维度筛选器缩小用户注释列表的范围。
- 根据你在评估测试方法中定义的标准来评估列出的评论。
- 请参阅特定于单个注释的详细信息。
深入查看响应
若要查看贡献于单个用户反应的代理响应列表，请在“反应”饼图上，选择一个“拇指向上”或“拇指向下”扇形区域。 默认情况下，会根据您向下钻取的用户反应筛选代理响应列表（反应 列表）。
如果需要，可以在 “反应 ”列表页上执行以下操作：
- 应用更多筛选 以进一步使用列表的维度筛选器缩小代理响应列表的范围。
- 根据评估的测试方法中定义的条件评估列出的代理响应。
- 请参阅特定于单个代理响应的详细信息。
查看一段时间内的反应趋势
选择查看详情以在回应磁贴上打开回应侧面板。 该面板显示了一段时间内的正面和负面反应（从 拇指向上 和 拇指向下）的趋势。
客户满意度
“ 客户满意度 ”部分根据用户调查结果显示有关用户满意度的信息：
满意度分数：根据用户响应会话结束请求进行调查的会话的平均满意度（CSAT）分数计算出的 5 分。
注释
分数
1和2映射到不满意，分数3被视为中立，分数4和5映射到满意。会话满意度：一个堆积条形图，用于可视化调查中每个得分类别的相对权重，即
Dissatisfied、Neutral和Satisfied。 将鼠标悬停在图表的每个部分上，可以看到样本大小以及每个分数类别权重的数值。 对于拥有机器人会话查看器特权的用户，您可以深入查看根据所选栏段部分筛选的客户会话列表。
选择“ 查看详细信息 ”以查看所选时间段内满意度分数趋势。
情绪（预览版）
情绪分析使用 AI 从会话示例分析用户消息，以评估代理的总体用户情绪。 该数值表示负面用户情绪的会话百分比。
选择“ 查看详细信息 ”以查看每个情绪类别（即 Positive， Neutral和 Negative）的相对权重的情绪数据。
