Copilot Studio 智能体报告 (预览)

重要

此功能仅适用于公共预览版客户。 预览版中的功能可能不完整,并且可能会在更广的版本中推出之前进行更改。

Copilot Studio 智能体报告可帮助你了解跨组织内各种渠道部署的内置Microsoft Copilot Studio代理的采用和影响。

此报告可帮助你回答以下问题:

  • 使用哪些顶级代理?
  • 什么是顶级代理的高级 KPI 类会话、满意度分数和成功率?
  • 各个代理的影响是什么,例如参与的会话和主题分布的拆分,以及代理协助的小时数的影响?

示例代理 KPI

此报告涵盖的内容:

在频道中部署的内置Microsoft Copilot Studio代理,例如:

  • 自定义和演示网站
  • Microsoft Teams 和智能 Microsoft 365 Copilot 副驾驶®
  • 移动应用程序
  • Facebook
  • Azure 机器人服务通道,如 Skype、Twilio 和 Microsoft Cortana

此报告中 涵盖的内容:

  1. 使用 Microsoft Copilot Studio 生成的代理,这些代理使用设置使代理在 智能 Microsoft 365 Copilot 副驾驶® 中可用,这些代理发布到智能 Microsoft 365 Copilot 副驾驶®和Copilot 对话助手

  2. 在 智能 Microsoft 365 Copilot 副驾驶® 中使用 Agent Builder 生成的代理

  3. 主动响应整个业务中的信号并启动任务的自治代理,这些任务可以配置为在没有人工干预的情况下对事件或触发器做出响应。 了解详细信息

  4. 使用生成 AI 而不是经典业务流程的代理。 详细了解生成业务流程与经典业务流程

  5. 在 Microsoft Copilot Studio 外部构建的代理,例如在 sharepoint 或第三方应用中Microsoft

先决条件

此报告是为满足以下资格条件的租户启用的:

  1. 租户必须具有至少 50 个 Copilot 许可证。
  2. 租户必须至少有一个Microsoft Copilot Studio许可证(独立、即用即付或与 Copilot 捆绑在一起),并且已创建至少一个代理并在“生产”环境中发布它。 了解详细信息

此外,在 Power BI 中运行查询和填充报表之前,需要:

报表设置

运行查询

  1. “Viva Insights分析体验”中,选择“创建分析”。

  2. “Power BI 模板”下,导航到“Copilot Studio 智能体报告”,然后选择“设置分析”。 还可以在 Copilot 部分下找到模板。

  3. 在“查询设置”下:

    1. 输入 查询名称
    2. 选择“ 时间段”,默认为 “过去 1 个月”。

    注意

    首先,你只能运行涵盖上个月的分析,但最终你将能够选择更宽的时间段,因为Microsoft Copilot Studio收集更多数据。

    1. 设置“自动刷新”(可选)。 可以通过选择“ 自动刷新”将查询设置为自动更新。 选择此选项时,每次Viva Insights获取更新的代理数据时,查询都会自动运行并计算新结果。

    2. 输入 “说明 ” (可选) 。

    注意

    更多设置 ”窗格还包含 分组依据指标规则 设置。 此 Power BI 查询设置为 “按月分组”,你无法更改此设置,也不能更改 指标规则 设置。

  4. “预定义模板指标”下,查看预选指标的列表,这些指标显示为灰色标记。 这些指标是设置 Power BI 报表所必需的,你无法删除它们。 无法为此报表添加其他指标。

  5. “选择要包含在查询中的代理”下,添加筛选器以缩小报表范围内的代理范围。 可以按代理名称、代理图面和代理类型进行筛选。

  6. “选择要包含在查询中的代理属性”下,将自动选择属性。 查询运行后,可以使用这些属性对报表进行分组和筛选。

    重要

    此 Power BI 查询需要一些特定的属性才能运行,我们已为你预选它们。 这些属性以灰色显示,无法将其删除。 无法通过选择“添加属性”来添加其他属性

  7. 选择右上角的“ 运行 ”。 运行查询可能需要几分钟时间。

访问查询结果

可以通过两种方式访问报表:

  • 在浏览器中查看报表。 如果只想查看报表,请使用此选项。 

  • 在 Power BI 桌面中打开 Power BI 模板并连接到查询结果。 如果要自定义报表或通过将报表发布到 Power BI 服务,与组织中的其他人共享报表,请使用此选项。

在浏览器中查看报表

若要在浏览器中查看报表,请转到 “查询结果”页 ,然后选择“视图”列中的眼睛图标。 如果要在分析体验中执行其他任务时将报表保留在后台,请选择 “在新选项卡中打开 ”。

在 Power BI Desktop 中打开 Power BI 模板

  1. 转到“查询结果”页,然后选择“操作”列中的 Power BI 图标,下载 Power BI 模板并获取查询和分区标识符。 稍后需要这些标识符。 

  2. 打开已下载的模板。 

  3. 如果系统提示选择程序,请选择“Power BI”。 

  4. 当 Power BI 提示时:

    1. 粘贴分区和查询标识符。 
    2. 选择“载入”,以将查询结果导入至 Power BI 中。
  5. 如果 Power BI 提示,请使用组织帐户登录。 然后,Power BI 将加载和准备数据。 对于大型文件,此过程可能需要几分钟时间。

    重要

    需要使用用于访问 Viva Insights 的相同帐户登录到 Power BI。 如果可用,请从左侧选择“组织帐户”。 可能需要多次登录。

    显示在“组织帐户”选项卡上登录到 Power BI 的屏幕截图

页面级设置

每个报表页在顶部包含以下设置:

  • 报表的时间段 – 选择要查看的数据的开始和结束日期。

  • 应用筛选器 – 选择“类别”、“代理名称”和“代理使用类型”以筛选报表中显示的代理。

关于此报表

Copilot Studio 智能体报告包括以下报表页,可帮助你更好地了解整个组织的代理采用和 KPI。

代理概述

此页初步概述了为所选筛选器在整个组织中采用代理。 左侧卡显示基于参与会话的活动代理总数。 左侧还有一张卡片,其中显示了参与的代理会话总数以及基于代理协助小时数的代理的影响。 详细了解如何衡量 代理参与度结果

页面中间的卡显示活动代理数、会话数和代理辅助小时数如何随时间变化。 使用下拉列表在指标之间切换。

右侧卡根据每月参与的会话数确定前五名代理。

在页面顶部,还可以按类别和使用情况类型进行筛选。 对于“使用情况类型”,请选择“ 内部 ”以查看面向内部员工的方案的指标。 选择“ 外部 ”以查看外部使用的代理的指标,例如在公共网站上。

确定整个组织中使用的顶级代理

通过此页面,可以专注于根据每月参与的会话数按降序排序的顶级代理,并浏览关键的代理 KPI。

可以使用类别、代理名称和使用情况类型(例如组织内部或外部)在此页上筛选代理。

单个代理深入探讨

本页使用所选筛选器深入了解特定代理的特定 KPI。 左侧图表显示一段时间内参与的会话数,可以根据“解决”、“放弃”和“升级”在此会话结果和代理会话结果之间切换。

页面中间的图表还显示了所选时间范围中的代理满意度分数,以及在整个组织中部署代理可以获得的代理辅助小时数。 对于对话代理会话中的每个任务,该指标比较了人工花费的时间与代理实际花费的时间之间的差异,并汇总了所有任务和会话之间的这些差异。

右侧的图表显示所选时间范围内每个主题代理的会话数。 详细了解 Copilot Studio 中的主题

代理协助小时数

代理协助工时估计员工使用代理执行任务所节省的时间。 它使用参与的代理会话数、知识源引用数、会话结果和节省时间乘数来计算代理辅助总小时数。 此指标可帮助企业了解通过部署代理提高效率和节省时间。

下面是指标的公式:

代理辅助小时数 = (知识源引用数 + 没有知识源的加权会话数) x 时间节省乘数

给定的代理可能有多个会话,其中一些会话引用了知识源,另一些会话没有这些引用。 对于每个知识源引用,为员工节省的时间量估计等于节约时间乘数的值。 对于没有知识源引用的会话,可能还会节省时间,根据会话的结果进行估算。 已解决的会话计为完整会话,而升级会话和已放弃会话的权重为 0.7。 这些权重是通过根据对每种结果类型的会话持续时间Microsoft分析来估计任务完成范围的确定的。

节省时间乘数是可自定义的,默认值基于对 AI 使用情况的研究,包括首席经济学家办公室Microsoft的研究, (看到 “搜索的应变”) 显示涉及信息检索的任务平均节省 6 分钟的时间 (请参阅 博客文章) 第 2 部分中的研究 #4, 以及强调编写任务节省 6 分钟时间的研究 (请参阅 博客文章) 第 2 节中的研究 #1。 有关如何最大程度地提高工作效率的其他指导,请参阅 更改代理。 默认乘数是一个估计值,可能会随着时间推移而随着新数据的可用而优化。

若要编辑乘数的值,请选择计算器,你将在其中查看如何针对特定代理计算此指标的细目。 如果更改该值,它将针对报表中的所有代理进行更新。

代理辅助值

这是对代理在给定时间段内的影响值的估计值,通过将代理辅助小时数乘以平均每小时费率计算得出。 默认情况下,根据美国劳工统计局编制的数据,此每小时费率设置为 72 美元。 若要更新平均每小时费率,请选择“计算器”,可在其中查看使用更新设置计算总值的方式的明细。

若要在“代理辅助小时数”和“代理辅助值”之间切换,请选择卡右上角的相应符号。

删除Copilot Studio代理数据

管理员可以使用 PowerShell 删除租户的现有代理数据。 了解如何操作

删除数据后,查询不会自动刷新,并且一个月内无法运行任何新查询。

在何处查找 Power Platform 管理中心设置

  1. Microsoft 365 服务设置
  2. 设置从Microsoft Copilot Studio到Viva Insights的数据流
  3. 跨地理位置设置

Power BI 提示、常见问题解答和疑难解答

详细了解如何共享报表和其他 Power BI 提示、排查任何问题或查看常见问题解答

筛选器