监控Copilot Studio中的代理性能

注释

本文介绍了由 标准线束驱动的代理或代理流中使用的功能。

利用分析功能了解智能体的绩效表现,并找出需要改进的地方。

Copilot Studio 中的Monitor页面汇总了关键指标,并为代理的组件提供使用情况分析。 打开单个指标以探索底层数据。

Monitor 体验专为 对话型代理 和 自主代理量身定制。

监测服务遍及所有地区。 监控数据最长可保留 360 天。 可查看过去 28 天内的会话详情和转录信息。 分析中的时间和日期戳以协调世界时(UTC)为单位。 日期时间戳包括当天的开始和结束时间、会话时间以及代理数据中的任何其他时间标记。

注释

监控页面不会显示你在 Copilot Studio 中使用测试面板测试代理时完成的活动的分析数据。

授予分析数据的有限只读访问权限

如果您是智能体的所有者,请将智能体共享给分析查看者共享角色,仅授予其访问监控页面的权限。 要访问对话文字记录信息,该人还必须具有 Bot Transcript Viewer 安全角色。

更多信息请参阅共享智能体的分析数据。

Important

代理所有者只能与个人共享 Analytics 查看器角色,而不能与用户组共享。

要访问您代理人的 监控 页面:

  1. 请在 Copilot Studio 中打开您的代理。
  2. 在顶部菜单栏选择 “监控 ”。

Summary

Summary 区域使用 Copilot 生成关于您的代理的重要分析见解的 AI 摘要。 选择“ 查看更多” 以查看完整汇总的见解列表。

Copilot Studio 中监视器页面的截图,显示了扩展后的摘要卡。

它通过为所选报告期间的常见主题和指标生成项目符号列表摘要,帮助您快速了解这些内容并识别智能体的改进领域。 该列表可以包括参与度指标、客户情绪和反馈,以及自上一报告期以来的趋势。

客户评论摘要(预览)

[此部分是预发布文档,需要更改。]

客户评论摘要帮助你从反馈和评论中了解客户对该客服人员的整体情感。 见解的优先级取决于相关注释的数量及其总体意义。 摘要会过滤掉低价值或无关的评论,并将相关反馈归类到一起。

Important

本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。

预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。

如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述。

要向Microsoft反馈该部分,请选择“点赞”或“点踩”。 使用“向 Microsoft 提交反馈”面板添加评论并选择是否共享相关文件。

  1. 在向 Microsoft 提交反馈面板上,根据您选择的打开面板的图标,使用自然语言描述您的偏好。
  2. 选择是否分享提示、生成的回复、相关内容样本和额外的日志文件。
  3. 选择“提交”。

Overview

在 概览 区域查看高层次绩效摘要,然后更详细地探索各个指标。

活动用户

主动用户指标展示了对话式代理的采用情况及其随时间的变化。 活动用户是一个在报表期间至少与聊天代理交互过一次的唯一用户。 Monitor页面显示每日活跃用户(DAU)和月活跃用户(MAU)。 每日计数覆盖了整整24小时UTC时间。 月度计数以 UTC 时间为准,遵循自然月。

Important

只有在将代理设置为要求在“设置安全>身份验证”>下进行身份验证时,才支持活动用户指标功能。

“监控”选项卡中“概述”部分的屏幕截图,其中“DAU”被框选,并显示了已选中的“活跃用户”详细面板。

所选时间段的平均 DAU 及其与上一个时间段的百分比变化,在 “概述 ”部分中显示为关键绩效指标(KPI)。

注释

平均 DAU 计算指标的公式为: (sum of all full-day active user counts in the period) / (count of full days in the period)。

若要查看有关每日和每月活动用户随时间推移的计数的更多详细信息,请选择概述面板右上角的“ 查看活动用户 ”按钮。

仅对话会话

Copilot Studio 中用于会话代理的 分析跟踪用户与代理的互动,并尝试捕获代理执行用户任务的效果。

对话分析使用以下概念和术语:

  • 对话是 频道 上特定用户或用户群体与你的客服之间持续进行的互动。

  • 对话可以暂停并在稍后恢复,也可以转接给客户服务代表。 对话可能是单向的,可能是客户与客服,或客服对客户,但更常见的是客户与客服之间的来回互动。

  • 对话将在 30 分钟不活动后超时。

  • 对于已发布到语音通话渠道的智能体,对话将在结束对话事件发生后 3 分钟超时。

  • 一个对话可以包含一个或多个分析会话。

  • 由标准框架驱动的分析会话会与用户最后触发的自定义主题关联。 如果会话中没有自定义主题,那就是用户直接触发的最后一个系统主题。

仅事件触发器会话

自治智能体是具有事件触发器的智能体。 这些代理仅支持带触发器代理的分析功能。

针对带有触发器的智能体的分析会话会跟踪智能体从接收触发器的有效载荷到执行响应操作的整个过程。 这些分析会话记录了您的智能体对哪些内容做出响应,以及其表现如何。

注释

如果触发器失败,智能体未收到触发器有效负载,分析会话无法开始。 分析仅跟踪已成功触发的运行。

混合视图 - 对话和事件触发会话

当你的代理数据在报告期间内包含至少一个对话会话和至少一次基于触发器的运行时,监控页面会显示一个用于展示对话会话和自主会话相关指标的混合视图。 在此视图中, 概览 和 效果 部分并列展示了对话会话和事件触发会话的指标。 使用部分可以在对话和运行之间进行选择,仅显示相关数据。 选择 “全部 ”会显示所有与使用相关的数据。 “满意度”部分显示会话的满意度指标。

更多信息请参阅:

下载对话记录

您可以在 Copilot Studio 中下载过去 28 天内的会话转录文本。 分析会话结束后,相关数据可能要等上一个小时才能显示在分析仪表盘上。 了解更多关于可用性、权限及下载步骤的信息,请参阅Copilot Studio 中下载对话文字稿。

Dataverse的文字记录保存与Copilot Studio的28天会话数据窗口是分开的。 更多信息请参阅在 Power Apps 中下载对话记录。

主题使用情况分析

在Copilot Studio中,主题定义代理会话的进度,并表示用户和代理之间的对话的一部分。 主题监控面板显示单个主题的表现,包括触发频率、包含该主题的会话如何解析,以及用户对这些会话的满意度。 利用这些见解来识别频繁升级或被放弃的主题,然后将其列为优先改进事项。 在 “创建和编辑”主题中了解详细信息。

注释

主题监视器仅适用于由标准框架驱动的代理以及与 会话相关的主题。 如果您的代理使用生成式编排,则应改为在监控页面使用对话结果和主题。

要查看主题监控面板:

  1. 在 Copilot Studio 中转到智能体的主题页面。

  2. 选择要分析的主题。 如果没有可用的主题,请参阅 “创建和编辑主题”。

  3. 在主题页面的右上角,选择更多 (...) >监控。

主题“更多”菜单截图,标出“监控”选项。

Monitor 主题面板显示:

  • 主题结果:显示触发此主题的会话的会话结果、Escalated、Resolved和Abandoned图表。 使用此图表可快速评估主题健康状况。 高比例 Escalated 或 Abandoned 结果可能意味着主题需要改进。
  • 主题使用总数:一段时间内主题结果趋势的图表。 利用此功能可检测回归问题,例如在编辑主题后“放弃会话”数量的激增,或确认近期更改是否提升了解决率。
  • 客户满意度分数:基于与本主题关联的会话的用户调查响应评分。
  • 满意度分数趋势:显示 满意度分数 随时间变化的图表。 使用此趋势来确定用户情绪下降或改进的时间段。

要更改时间范围,请在主题“监控”面板顶部选择“时间范围”下拉菜单。

衡量 AI 代理的投资回报(ROI)和业务价值