Monitor 概述

Note

本文介绍了由 标准线束驱动的代理或代理流中使用的功能。

使用分析来了解您的智能体的表现如何,并确定需要改进的领域。

Copilot Studio 中的监视页面会显示有关你的智能体的全面数据,从关键指标概览到对智能体组件的深入使用情况分析。 您可以深入查看每项数据,以获取更多详情。

Monitor 体验专为 对话型代理自主代理量身定制。

监测服务遍及所有地区。 监控数据最长可保留 360 天。 可查看过去 28 天内的会话详情和转录信息。 分析中的时间和日期戳以协调世界时(UTC)为单位。 日期时间戳包括当天的开始和结束时间、会话时间以及代理数据中的任何其他时间标记。

Note

监控页面不会显示你在 Copilot Studio 中使用测试面板测试代理时完成的活动的分析数据。

授予对分析的仅限视图的访问权限

如果你是代理所有者,只想授权访问代理的 监控 页面,可以通过启用 分析查看器 共享角色来实现。 如果你希望与你共享该代理的人能够访问对话记录中的信息,他们还必须具有 Bot Transcript Viewer 安全角色。

详细了解 如何共享代理的分析

Important

代理所有者只能与个人共享 Analytics 查看器角色,而不能与用户组共享。

要访问您代理人的 监控 页面:

  1. 请在 Copilot Studio 中打开您的代理。
  2. 在顶部菜单栏选择 “监控 ”。

总结

Summary 区域使用 Copilot 生成关于您的代理的重要分析见解的 AI 摘要。 选择“ 查看更多” 以查看完整汇总的见解列表。

Copilot Studio 中监视器页面的截图,显示了摘要卡的“查看更多”按钮。

Copilot Studio 中监视器页面的截图,显示了扩展后的摘要卡。

它通过为所选报告期间的常见主题和指标生成项目符号列表摘要,帮助您快速了解这些内容并识别智能体的改进领域。 这可以包括参与指标、客户情绪和反馈,以及自上次报告期间以来的趋势。

客户评论摘要(预览版)可帮助你了解有关代理的高级客户情绪,例如反馈和评论。 见解的优先级取决于相关注释的数量及其总体意义。 筛选掉低值或无关的注释,相关反馈组合在一起。

可以使用好评差评图标 向 Microsoft 提供有关此部分的反馈。 使用向 Microsoft 提交反馈面板添加注释并共享相关文件。 通过提供这样的描述性反馈,我们可以共同努力,不断改进产品。

  1. 向 Microsoft 提交反馈面板上,根据您选择的打开面板的图标,使用自然语言描述您的偏好。
  2. 选择是否共享提示、生成的响应、相关内容示例和其他日志文件。
  3. 选择“提交”。

还可以在 “概述” 区域中检查高级性能摘要,然后深入了解其性能。

Copilot Studio 中监控页面的截图,显示图表和详细信息选项。

活动用户

活动用户指标提供有关会话代理采用程度以及随时间推移的趋势的见解。 活动用户是一个在报表期间至少与聊天代理交互过一次的唯一用户。 监控标签显示两个预定义时间段的活跃用户数:每日活跃用户(DAU)和月活跃用户(MAU)。 每日计数根据 UTC 时区的完整 24 小时时间开始和结束。 月计数遵循日历月,也根据 UTC 时区从第一天和最后几天开始和结束。

Important

只有在将代理设置为要求在“设置安全>身份验证”>下进行身份验证时,才支持活动用户指标功能。

“监控”标签页中“概览”部分的截图,其中平均 DAU 已用方框标出,并显示已选中的详细“活跃用户”面板。

所选时间段的平均 DAU 及其与上一个时间段的百分比变化,在 “概述 ”部分中显示为关键绩效指标(KPI)。

Note

平均 DAU 计算指标的公式为: (sum of all full-day active user counts in the period) / (count of full days in the period)

若要查看有关每日和每月活动用户随时间推移的计数的更多详细信息,请选择概述面板右上角的“ 查看活动用户 ”按钮。

仅限对话

Copilot Studio 中用于会话代理的 分析跟踪用户与代理的互动,并尝试捕获代理执行用户任务的效果。

对话分析使用以下概念和术语:

  • 对话是 频道 上特定用户或用户群体与你的客服之间持续进行的互动。

  • 对话可以暂停并在稍后恢复,也可以转接给客户服务代表。 对话可能是单向的,可能是客户与客服,或客服对客户,但更常见的是客户与客服之间的来回互动。

  • 对话在 30 分钟不活动后超时。

  • 对于发布到电话通信频道的代理,会话将在结束会话事件后3分钟自动超时。

  • 一个对话可以包含一个或多个分析会话。

  • 经典模式下的分析会话与用户触发的最后一个自定义主题相关联。 如果会话中没有自定义主题,那就是用户直接触发的最后一个系统主题。

仅事件触发器会话

自治智能体是具有事件触发器的智能体。 这些代理仅支持带触发器代理的分析功能

针对带有触发器的智能体的分析会话会跟踪智能体从接收触发器的有效载荷到执行响应操作的整个过程。 这些分析会话会记录您的智能体正在响应什么,以及其表现如何。

Note

如果触发器失败,智能体未收到触发器有效负载,分析会话无法开始。 分析仅跟踪已成功触发的运行。

混合视图 - 会话和事件触发会话

当你的代理数据在报告期间内包含至少一个对话会话和至少一次基于触发器的运行时,监控页面会显示一个用于展示对话会话和自主会话相关指标的混合视图。 在此视图中, 概览效果 部分并列展示了对话会话和事件触发会话的指标。 使用部分可以在对话运行之间进行选择,仅显示相关数据。 选择 “全部 ”会显示所有与使用相关的数据。 “满意度”部分显示会话的满意度指标。

有关以下内容的更多信息:

下载对话记录

你可以在对话超时后几分钟内下载对话记录。您可以下载过去29天内的任何时间段的记录。 可以在 Power Apps 门户中使用 Dataverse 下载它们,并在 Copilot Studio 应用中下载为会话聊天记录。 在分析会话结束后,可能需要长达一个小时的时间,相关数据才会显示在分析控制面板上。

Note

无法在 Teams 的 Copilot Studio 应用中下载 Dataverse 中的对话记录。 若要在 Dataverse 中查看和导出脚本,需要注册 Copilot Studio Web 应用。 可以使用 Copilot Studio 应用下载会话聊天脚本。 有关详细信息,请参阅下载代理会话脚本

主题使用情况分析

在Copilot Studio中,主题定义代理会话的进度,并表示用户和代理之间的对话的一部分。 主题监控面板显示单个主题的表现,包括触发频率、包含该主题的会话如何解析,以及用户对这些会话的满意度。 可以使用这些见解来识别经常升级或放弃的主题,然后确定它们进行改进的优先级。 若要详细了解主题以及如何创建主题,请参阅 “创建和编辑主题”。

Note

主题监视器仅适用于 经典模式 中的代理以及与 会话相关的主题。 如果您的代理使用生成式编排,则应改为在监控页面使用对话结果主题

要查看主题监控面板:

  1. 在 Copilot Studio 中导航到代理的 Topic 页面

  2. 选择要分析的主题。 如果没有可用的主题,请参阅 “创建和编辑主题”。

  3. 主题 页面右上角,选择 “更多 ”(...) >监控

显示主题的“更多”菜单的屏幕截图,其中突出显示了“分析”选项。

Monitor 主题面板显示:

  • 主题结果:显示触发此主题的会话的会话结果EscalatedResolvedAbandoned图表。 使用此图表可快速评估主题健康状况。 高比例 EscalatedAbandoned 结果可能意味着主题需要改进。
  • 主题使用总数:一段时间内主题结果趋势的图表。 使用此功能来识别回归问题,例如在某个主题被编辑后已放弃会话数激增,或确认最近的更改提高了解决率。
  • 客户满意度分数:基于与本主题关联的会话的用户调查响应评分。
  • 满意度分数趋势:显示 满意度分数 随时间变化的图表。 使用此趋势来确定用户情绪下降或改进的时间段。

要更改时间范围,请在主题“监控”面板顶部选择“时间范围”下拉菜单。