按主题分析用户问题(预览版)

[本文为预发布文档,可能会发生变化。]

主题将相关用户问题进行分组,从而触发生成式答案。 通过对相关问题进行群集,主题可以帮助您组织客户意图见解、识别常见主题并重点关注需要改进的领域。 您可以探索某一主题下的单个问题,并监控其性能,从而了解主题层面的指标。

主题功能会自动分析过去一周内触发生成式 AI 回复的所有未分类问题,并基于此分析推荐相应主题。 这个过程每周进行一次。 在每周主题建议周期之间,系统会对任何触发生成式 AI 回复的新问题进行每日分类,并将这些数据纳入主题指标。 建议的主题列表会定期刷新,以确保您的主题保持相关性并反映最新的用户数据。 这种自动刷新通过以下方式为您节省时间:

  • 持续根据新数据评估主题相关性
  • 自动将单个问题归入相应主题。
  • 自动化获取每个主题的原始指标数据
  • 计算每个主题的汇总指标数据。

重要提示

本文包含 Microsoft Copilot Studio 预览版文档,有可能会有变动。

预览功能不适合生产使用且功能可能受限。 这些功能在正式发布之前已经可用,以便您可以及早使用并提供反馈

如果您在构建生产就绪型智能体,请参阅 Microsoft Copilot Studio 概述

必备条件

要充分利用主题功能,包括查看每个主题的具体问题与答案:

建议主题和已分类问题

Copilot Studio 根据最近提出的问题记录建议主题。 通过调整每个建议主题以适应您的组织结构和客户体验策略,您可以通过主题相关的关键绩效指标 (KPI) 获得更深入的见解。 深入的细分使得定位智能体的不足之处变得更容易。

主题帮助管理员了解用户向智能体提出了哪些问题,以及智能体的表现。 在首次进行主题分析时,Copilot Studio 会查看过去一周的所有问题,并建议最多 10 个主题,将用户问题根据相似性进行分类。 每个主题都包含总问题数量、回答率和用户反应等指标。 所选的分析周期会调整在主题列表中显示的数据。

初次运行后,Copilot Studio 会每天将新问题归类到现有主题,并每周生成新的建议主题列表。

备注

  • 在过去七天内,至少需要记录 50 个带有生成式答案的问题,Copilot Studio 才会生成建议主题。
  • 触发生成式 AI 响应的问题可以归类到多个主题中。 这种应用场景在生成式编排模式下可能会更常见,此时智能体的回答可能来自多个来源。
  • 任何仍未被归类的问题都会被放入未分类主题。
  • 每周建议的运行可能需要几分钟完成。 在此期间,主题部分无法使用。

主题列表

默认情况下,主题列表会显示排名前五的主题,这些主题按归类到每个主题的问题总数进行排序。 选择全部查看以展开列表并显示所有主题。

通过自动每周 主题建议运行和每日问题分类,主题功能会自动演进并适应用户行为的变化。

“分析”选项卡上的“主题”列表的屏幕截图。

主题列表会显示每个主题的指标。

Column 说明
Name 主题的名称。
问题总数 在配置的时间段内归类到该主题的问题总数。
已回答的问题 生成用户问题答案的问题总数的比例。
回复质量 在所有响应(基于问题样本)中,具有 Good 质量响应的响应所占比例。
反应 各主题下问题收到的正面()与负面()反馈原始计数。

将鼠标悬停在主题上即可看到评估按钮。 了解更多关于智能体评估

备注

当所有已分类问题都触发了生成式 AI 答案时,为什么我的主题中还会有“未解答问题”?

根据定义,只有触发生成式 AI 回答的问题才能被归类为主题。 但触发对生成式答案的调用与获得用户查询的答案并不相同。

例如,通常存在连接到知识来源的对话推进主题。 在这种情况下,如果无法识别用户意图,相关主题可能会被触发,从而调用知识来源,尽管该知识来源中没有该问题的答案。

对主题向下钻取

重要提示

要访问向下钻取功能,必须同时满足以下两个条件:

  • 以下环境设置已启用:

    • 允许智能体负责人和编辑者在其智能体中查看来自对话交互的会话记录。
    • 允许将对话记录及其关联元数据保存到 Dataverse 中。

    如需了解更多信息,请参阅配置单一环境的对话记录设置

  • 用户已被分配机器人对话记录查看器安全角色。 有关详细信息,请参阅将用户添加到安全角色

要向下钻取归入任何一个主题的问题,请在主题列表中选择该主题。 当你向下钻取时,会打开一个与所选主题相关的专属面板,展示主题及单个问题层面的指标信息。

备注

主题列表包括:

  • 每个主题下归类的最新 100 个问题。
  • 无论配置的时间段如何,列表都会包含过去 30 天内的问题。 如果配置的时间段完全不在过去 30 天范围内,Copilot Studio 会显示该列表不可用的通知。

主题向下钻取面板的屏幕截图。

在主题的向下钻取面板中,主题级别的指标首先显示。

主题级度量 描述
问题总数 在配置的时间段内,归类到此主题并触发了生成式 AI 响应的问题总数。
已回答的问题 生成用户问题答案的此主题的问题总数的比例。
未回答的问题 不参与生成用户问题答案的此主题的问题总数的比例。
反应 在“学习反馈”机制中记录的分类到此主题的问题的原始正面(好评)和负面(差评)反应计数。

要显示部分已回答问题的回复质量明细,以及该主题中所有引用的知识来源,请选择查看详情

主题指标面板上,若要在主题层面查看任意一个回复质量值的更多信息,请在回复质量下,将鼠标悬停在条形图的单个区段上。 工具提示包括该段的相对权重值以及被采样以到达该值的问题数。

给定主题的回复质量的相对权重的屏幕截图,其中显示一个质量值的工具提示。

要查看主题中列出的任一知识来源级别的更多信息,请在知识来源使用下面选择单个知识来源。 工具提示包括:

  • 引用此知识来源的问题总数,以及好评差评反应的数量。
  • 显示引用此知识来源的问题其响应质量相对权重的明细的堆积条形图。 将鼠标悬停在条形图的任何段上,可以查看该段的相对权重值以及被采样以到达该值的问题数。

给定知识来源的响应质量相对权重的屏幕截图,显示一个质量值的工具提示。

基于主题的问题列表反映了所有触发生成式 AI 回复并被归入该主题的问题,并以每个问题为单位显示指标。

问题级别的指标包括:

问题级维度或指标 描述
问题(维度) 归类到此主题并触发了生成式 AI 响应的问题。
已回复? 用户查询是否已得到答复的问题的响应。 可能值为 AnsweredUnanswered
回复质量1 回答用户查询的响应质量如何的问题。 可能值为 PoorGood
回应 有两个参数,分别是布尔型点赞/点踩指标,以及文本型评论参数。
日期 提问的日期。
知识来源 该问题在本主题中引用的知识来源,以逗号分隔的列表。

1 回复质量并非总是可用,只有在问题被抽样进行质量分析时才会显示出来。

您可以在主题专属问题列表页面执行以下操作:

选择列表中任意问题,可在问题详情面板中显示该问题的更多信息。 此面板包括:

详细的问题级参数 描述
时间戳 最近一次问题被回答的时间戳。
用户查询 问题已提出。
响应 生成式 AI 响应。
赞/踩值 该问题最近一次被赞/踩参数标记时的对应数值。
注释 赞/踩反应外,用户可提供的可选额外文本评论。
回复质量1 回答用户查询的响应质量如何的问题。 可能值为 PoorGood
原因2 当回复质量为 Poor 时,该参数用于说明原因。

1 回复质量并非总是可用,只有在问题被抽样进行质量分析时才会显示出来。

2 如果回复质量为 Good,或问题未被抽样,则“理由”参数没有值。

主题内问题级指标细节的屏幕截图。

根据主题评估您的智能体的答复

备注

当你在主题页面上为某个主题选择评估时,你会在主题级别创建一个新的测试集。 测试集包含所有归类于该主题的问题,最多 100 个问题。 要进行更多筛选时,在创建评估测试集之前,先向下钻取主题。 然后,对列表应用筛选。 在应用所有需要的筛选后,从问题列表页面选择评估

你可以通过使用智能体评估(预览版)来测试你的智能体对主题相关问题的答复。

基于主题的评估会测试智能体覆盖范围的具体部分。 例如,如果你有智能体,你可以将账单和付款问题的回答质量与排查等其他用例分开追踪。

详细了解如何从主题创建测试集

此屏幕截图展示了主题列表中某个主题的“评估”选项。