为 Copilot 代理评估派生质量信号

质量信号提供了一种结构化的方法来理解代理响应成功或失败 的原因 。 它们帮助团队将评估结果分组为有意义的类别,确定改进的优先级,并随着时间的推移跟踪进度。

本文介绍如何从评估结果中派生质量信号,以诊断问题、识别模式和提高 Copilot 代理性能。

通过使用质量信号,团队可以:

  • 识别重复出现的故障模式
  • 根据影响确定改进的优先级
  • 跟踪跨迭代的绩效
  • 清楚地向利益干系人传达结果

什么是质量信号?

质量信号是表示评估结果模式的类别。 它们来自观察到的行为,而不是预定义的规则。

断言和质量信号在评估工作流中协同工作:

  • 断言确定 响应是通过还是失败。
  • 质量信号将 断言结果分组为更高级别的模式。
方面 断言 质量信号
级别​​ 具体和具体 抽象和分类
用途 确定通过或失败 诊断模式
数量 每个测试用例多个 每个代理很少
源 测试前定义 派生自结果
示例 包含“15 天” 策略准确性

定义断言后,从断言结果中派生质量信号,并使用这些信号跨场景跟踪性能。

常见质量信号

评估 Copilot 代理时,请使用以下常见质量信号:

  • 策略准确性 – 衡量响应是否与权威知识来源一致
  • 来源归属 – 衡量回复是否清楚地标识信息来源
  • 个性化 - 衡量响应是否使用相关的用户上下文
  • 刀具精度 – 衡量是否正确执行刀具调用
  • 工具响应处理 – 测量代理是否正确解释工具输出
  • 上报的适当性 – 衡量是否在需要时将请求路由到人工支持
  • 隐私保护 – 衡量敏感信息是否受到保护
  • 操作启用 – 衡量响应是否提供了明确的后续步骤

信号评估及常见原因

下表列出了每个质量信号的指标。

质量信号 通过指示器 失败指示器 常见原因
策略准确性 正确的值和日期

准确的策略详细信息

与当前文档一致
过时或不正确的值

冲突或捏造的细节
过期或重复的文档

检索结果不正确

模型幻觉
来源归属 对特定文档或部分的引用

清除归属声明
未提供来源

模糊或笼统的引用
缺少源元数据

说明不强调归因
个性化设置 特定于区域或特定于角色的响应

上下文感知建议
忽略用户上下文的通用响应

不正确的区域或基于角色的信息
代理的用户上下文不可用

未按受众细分的知识源
刀具精度 正确的工具选择

有效参数和标识符

已填充所有必填字段
参数缺失或不正确

无效的工具输入
不明确的 API 规范

参数映射不正确
工具响应处理 准确传达工具结果

正确处理成功和错误状态
成功声明不正确

忽略或误解的工具错误
缺少错误处理指南

对工具响应的误解
呈报的适当性 正确路由敏感或复杂问题

遵守呈报规则
代理尝试处理不受支持的方案

无法提升高风险请求
未定义的升级标准

过度宽松的指令
隐私保护 拒绝披露受限数据

响应仅限于授权信息
敏感数据的披露或推断

公开受保护信息的响应
弱访问控制

隐私指导不足
操作启用 具体说明

链接、标识符或联系人详细信息
指南含糊不清或不完整

缺少可操作的步骤
知识源中缺少过程性信息

过度汇总的响应

如何派生质量信号

质量信号来自评估结果中的模式,而不是预定义的清单。 要派生质量信号:

  • 运行一组初始评估测试用例。
  • 查看跨测试用例失败的响应。
  • 识别故障中重复出现的模式。
  • 将每个模式定义为质量信号。
  • 使用相应的信号标记相关断言。
  • 按信号跟踪通过率。

质量信号的实践

以下示例显示了为员工入职代理定义的质量信号。

观察 已识别的模式 质量信号
返回了正确的 PTO 值 准确的知识检索 策略准确性
回应中引用的来源 包含归因 来源归属
返回的区域信息不正确 未使用上下文 个性化设置
调用的工具参数不正确 执行错误 刀具精度
请求已适当地路由到人力资源部 正确呈报 呈报的适当性
敏感数据几乎暴露 隐私边界风险 隐私保护
响应包括后续步骤 可操作的响应 操作启用

以下是质量信号的具体措施。

策略准确性 来源归属 刀具精度
包含正确的 PTO 持续时间 引用权威文档 调用正确工具
包括正确的注册截止时间 参考特定章节 使用有效参数
不引用过时的策略 返回正确的结果

应用和传达质量信号

使用质量信号来推动评估工作流程并传达见解。 应用质量信号:

  • 标签断言 — 向测试用例中的每个断言添加信号标签。

    测试用例: PTO-001
    提示: “新员工有多少天假期?”

    断言:

    • 响应包含“15 天”。
      信号:策略准确性

    • 该回应引用了《员工手册》。
      信号:来源归因

    • 答复提到 <了 2 年任期范围。
      信号:个性化

  • 计算指标 – 按信号汇总通过和失败结果。

    质量信号 测试案例 通行证 失败 通过率
    策略准确性 25 23 2 92%
    来源归属 25 20 5 80%
    个性化设置 15 11 4 73%
    刀具精度 1.2 10 2 83%
    呈报的适当性 8 8 0 100%
    隐私保护 10 10 0 100%
  • 确定问题的优先级 – 重点关注通过率低或影响大的信号。

    1. 个性化 (73%) - 差距最大,请先调查。
    2. 来源归因 (80%) - 第二优先。
    3. 刀具精度 (83%) - 第三优先。
    4. 策略准确性 (92%) - 次要问题,监视。
  • 跟踪进度 – 监控跨代理版本的信号通过率。

    • 版本 1.0 > 、1.1、1.2 >> 、1.3
    • 个性化:73% > 78% > 85% > 91% (改进)
    • 来源归因:80% > 82% > 88% 90% > (改进)
    • 工具准确性:v1.2 回归) 后,工具准确性:83% > 85% > 84% > 92% (提高

质量信号改变利益干系人的对话。 这种特异性可以实现有针对性的修复、定量进度跟踪和更清晰的利益相关者沟通。

无信号: 代理性能不佳。 用户们都在抱怨。

使用信号: 策略准确率为 92%——我们正在达到目标。 但在上次更新后,个性化下降到 73%。 具体来说,英国员工正在获得美国假期信息。 我们确定了根本原因:上下文检索未传递位置数据。 下一版本正在修复。

按代理类型列出的质量信号

质量信号和优先级因您正在评估的代理类型而异。

代理类型 信号 优先级
以知识为基础 策略准确性 最高价
来源归属 最高价
完整性 中
个性化设置 中
工具调用 刀具精度 最高价
工具响应处理 最高价
操作启用 最高价
错误恢复 中
混合 路由精度 最高价
知识信号 中
工具信号 中
呈报的适当性 中
面向客户 隐私保护 最高价
语气和专业性 最高价
呈报的适当性 最高价
分辨率完整性 中

避免常见错误

避免以下问题,以确保您的质量信号保持有用、一致和可操作。

使用特定信号而非一般类别

过于宽泛的信号(例如“准确性”、“有用性”或“相关性”)无法提供可操作的见解。 一般信号使得确定根本原因或确定改进的优先级变得困难。

相反,根据评估结果中特定的、可观察的模式来定义信号。

  • 避免:准确性
  • 首选:策略准确性、来源归属

避免使用过于精细的信号

创建过多范围狭窄的信号会增加复杂性,但不会提高洞察力。 过于细化会分散分析,使跟踪有意义的趋势变得更加困难。

相反,将相关行为分为更广泛的、可重用的信号类别。

  • 避免:PTO 准确性、福利准确性、假日准确性
  • 首选:策略准确性

避免模糊的通过和失败标准

模糊的信号定义,例如“正确性”,缺乏可衡量的标准。 没有明确的标准,结果不一致且难以解释。

相反,使用与评估结果相关的明确、可观察的行为来定义信号。

  • 避免:“响应正确”
  • 首选:“响应包含正确的值并引用权威来源”

后续步骤