按主题监控用户问题(预览)

Note

本文介绍了由 标准线束驱动的代理或代理流中使用的功能。

[本文是预发行文档,可能会有所更改。]

主题将相关用户问题进行分组,从而触发生成式答案。 通过聚类相关问题,主题可帮助你组织客户意向见解、识别常见主题,并专注于需要改进的领域。 可以浏览主题中的单个问题并监视性能以了解主题级指标。

主题功能会自动分析过去一周触发生成 AI 响应的所有未分类问题,并基于此分析建议主题。 此过程每周运行一次。 在每周的主题建议运行之间,该功能对触发生成 AI 响应的任何新问题执行每日分类,并将这些数据添加到主题指标。 建议 的主题 列表会定期刷新,以便主题保持相关性并反映最新的用户数据。 此自动刷新可节省时间:

  • 持续评估针对新数据的主题相关性。
  • 自动将各个问题分类为主题。
  • 自动检索每个主题的原始指标数据。
  • 计算每个主题的聚合指标数据。

Important

本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。

预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前可用,以便你可以提前访问并提供 反馈。

如果您在构建可投入生产的代理,请参阅 Microsoft Copilot Studio 概述。

Prerequisites

若要从“主题”功能获取最大价值,包括查看每个主题的组件问题和答案的功能:

  • 需要机器人记录查看器安全角色才能查看列表及其指标。 只有管理员可以通过在代理共享期间分配 机器人脚本查看器 安全角色来授予此角色。

  • 在 Dataverse 中存储对话记录的环境级别设置处于打开状态。

建议的主题和分类问题

Copilot Studio 根据最近一次提出的问题记录建议主题。 通过定制每个建议的主题以满足组织的结构和客户体验策略,你可以通过特定于主题的关键绩效指标(KPI)获得更好的见解。 这种更深入的粒度使得查找代理性能不佳的位置更容易。

主题可帮助创建者了解用户询问代理的问题以及代理的执行方式。 在基于主题的分析的初始运行中,Copilot Studio 将查看过去一周的所有问题,并建议最多 10 个主题根据彼此相似之处对用户问题进行分组。 每个主题包括指标,例如问题总数、答案率和用户反应。 所选分析周期调整 “主题” 列表中的显示数据。

首次运行后,Copilot Studio 将新问题分类为现有主题,并每周生成一个新的建议主题列表。

Note

  • 在过去七天内,Copilot Studio 必须至少记录 50 个来自 50 个不同会话的生成性答案问题,才能生成建议主题。
  • 触发生成 AI 响应的问题可以分为多个主题。 这种情况在 生成式编排 模式下可能会变得更加常见,在这种模式下,代理应答可能来自多个不同的来源。
  • 未分类的任何问题都放入 未分类 的主题中。
  • 每周建议的运行可能需要几分钟完成。 在此期间, “主题” 部分不可用。

主题列表

默认情况下, “主题” 列表显示前五个主题,按分类到每个主题的问题总数排名。 选择“ 查看所有 ”以展开列表并显示所有主题。

借助自动每周 主题建议 运行和每日问题分类,主题功能会自动发展,并适应用户行为的变化。

显示器标签页主题列表的截图。

主题 列表 显示每个列出的主题的指标。

列 Description
Name 主题的名称。
问题总数 在配置的时间段内,按此主题分类的问题总数。
回答的问题 导致用户问题答案的总 问题 的比例。
响应质量 在所有响应(基于问题样本)中,具有 Good 质量响应的响应所占比例。
反应 各主题下问题收到的正面(赞)与负面(踩)反馈原始计数。

将鼠标悬停在主题上即可看到 “评估 ”按钮。 了解更多关于智能体评估。

Note

为什么在所有已分类的问题生成了 AI 答案的情况下,我的主题中仍然有“未回答的问题”?

根据定义,只有会触发生成式 AI 答案的问题才能被归类为某一主题。 但是,触发一个生成式回答的请求并不等同于对用户查询给出答案。

例如,通常会有一个连接到知识来源的对话推进主题。 在这种情况下,如果无法识别意向,则可能会触发该主题,该主题会调用知识源,即使该知识源中没有问题的答案。

深入探讨主题

Important

要启用钻取功能,以下两项必须同时满足:

  • 已启用以下环境设置:

    • 允许智能体所有者和编辑查看其智能体中对话交互的会话转录。
    • 允许对话脚本及其关联的元数据保存在 Dataverse 中。

    有关详细信息,请参阅 为单个环境配置记录设置。

  • Bot Transcript Viewer安全角色已分配给用户。 有关详细信息,请参阅 将用户添加到安全角色。

若要向下钻取到分组到任何一个主题中的问题,请在 “主题” 列表中选择主题。 向下钻取时,将打开特定于所选主题的面板,在主题和单个问题级别显示指标。

Note

主题列表包括:

  • 最近 100 个问题分为每个主题。
  • 过去 30 天内的问题,无论配置的时间段如何。 如果配置的时间段完全超出过去 30 天,Copilot Studio 将显示列表不可用的通知。

屏幕截图展示主题细化面板。

在主题的详细查看面板中,首先呈现主题级别的指标。

主题级指标 Description
问题总数 在配置的时间段内,归类到此主题并触发了生成式人工智能响应的问题总数。
回答的问题 生成用户问题答案的此主题的问题总数的比例。
未回答的问题 不参与生成用户问题答案的此主题的问题总数的比例。
反应 在“学习反馈”机制中记录的分类到此主题的问题的原始正面(好评)和负面(差评)反应计数。

若要显示回答问题采样的响应质量明细,以及此主题中引用的所有知识源,请选择 “查看详细信息”。

在 主题指标面板 上,要查看有关主题级别的任何一个响应质量值的更多信息,请在 响应质量下,将鼠标悬停在单个条形细分上。 工具提示包括该段的相对权重值,以及为得出该权重值所采样的问题数量。

给定主题的回复质量的相对权重的屏幕截图,其中显示一个质量值的工具提示。

要在主题中列出的任一知识源层面查看更多信息,请在 “知识源使用”中选择一个单独的知识源。 工具提示包括:

  • 引用此知识源的问题总数,以及好评和差评反应的数量。
  • 显示引用此知识源的问题的响应质量相对权重分布的堆积条形图。 将鼠标悬停在条形图的任何段上,可以查看该段的相对权重值以及被采样以到达该值的问题数。

给定知识来源的响应质量相对权重的屏幕截图,显示一个质量值的工具提示。

基于主题的问题列表反映了所有触发生成式 AI 响应的问题,并将其归类到该主题中,按每个问题 显示相关指标。

问题级指标包括:

问题级维度或指标 Description
问题(维度) 归类到此主题并触发了生成式人工智能响应的问题。
是否已回答? 用户查询是否已得到答复的问题的响应。 可能的值为 Answered 和 Unanswered。
响应质量1 回答用户查询响应质量的问题。 可能的值为 Poor 和 Good。
回应 两个参数,即布尔型 点赞/点踩 指标,以及基于文本的 评论 参数。
日期 问题被问及的日期。
知识来源 本主题中此问题引用的知识源的逗号分隔列表。

1 响应质量并非始终可用,仅当对问题进行了采样以供质量分析时才会显示。

如果需要,可以在特定于主题的问题列表页上执行以下操作:

  • 使用列表的维度筛选器,应用更多筛选以进一步缩小问题列表的范围。
  • 根据在评估的测试方法中定义的条件评估列出的问题。
  • 将列出的问题下载为.csv文件。
  • 请参阅 特定于单个代理响应的详细信息。

选择列表中的任何问题,在 “问题详细信息 ”面板中显示有关问题的详细信息。 此面板包括:

详细的问题级别参数 Description
时间戳 回答问题的最新实例的时间戳。
用户查询 问题已提出。
响应 生成式 AI 响应。
赞/踩值 该问题最近一次被赞/踩参数标记时的对应数值。
评论 除赞/踩反应外,用户可提供的可选额外文本评论。
响应质量1 回答用户查询响应质量的问题。 可能的值为 Poor 和 Good。
原因2 如果响应质量是 Poor,此参数将解释原因。

1 响应质量并非始终可用,仅当对问题进行了采样以供质量分析时才会显示。

2 如果响应质量为 Good 或未采样问题,则 Reason 参数没有值。

主题中问题级指标详细信息的屏幕截图。

根据主题评估经纪人的回答

Note

在主题页上选择列出的主题的“评估”时,您将在主题级别创建新的测试集。 测试集包括分类到该主题的所有问题,最多包含 100 个问题。 若要对问题列表应用更多筛选,请在创建评估测试集之前先向下钻取主题。 然后, 将筛选应用于列表。 应用所有所需筛选后,从问题列表页中选择“评估”。

可以使用 代理评估(预览版)测试代理对与主题相关的问题的答案。

基于主题的评估测试的是你代理人职责范围中的具体部分。 例如,如果你有客服,你可以将 账单和付款 问题的回答质量与排查等其他用例分开追踪。

了解更多关于从主题创建测试集的方法。

截图显示主题列表中的“评估”选项。