为了提高 声明式代理 和 自定义引擎代理的质量,请设计和运行代理评估。 无论你是使用 Copilot Studio、Microsoft 365 智能体 SDK 还是 Microsoft Teams AI 库来生成代理,代理评估都适用于任何代理。
开始使用 Work IQ 声明式代理的开发工具
对于已部署的声明式代理,请从 Work IQ Dev Tools 开始,以获得引导式评估工作流。 和wiqd plugin eval工作流管理wiqd agent eval兼容的智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 版本、运行评估和生成结果记分卡。 无需为此工作流全局安装 @microsoft/m365-copilot-eval 。
如果需要较低级别的命令控制或维护现有runevals工作流,请直接使用 智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 评估 CLI。
无论评估运行程序是什么,都使用本文中的概念和设计指南。 对于自定义引擎代理,请使用支持架构、运行时和质量要求的评估工具。
为什么评估很重要
如果没有评估,您就无法可靠地衡量对代理的更改是提高还是降低质量。 常见挑战包括:
- 更改是手动测试的,无法确认它们是否有帮助。
- 用户报告的问题无法一致地重现。
- 更新知识源会带来风险,因为你无法预测影响。
- 利益相关者询问质量是否提高了,而您无法量化这种变化。
评估提供了一个可重复的反馈循环,用于解决以下每个挑战:
- 进行更改。 运行测试集。 结果准确显示了改进或退化的内容。
- 会审用户报告。 将其添加为测试用例,修复问题,并将案例保留在回归集中,使其保持固定状态。
- 更新知识源。 运行评估以在用户之前发现回归。
- 用数据回答利益干系人的问题。 你可以说“政策准确率从 87% 上升到 96%”,而不是“感觉更好”。
评估可帮助您了解哪些有效,哪些无效,以及您的更改是否使您的代理变得更好。
核心评估概念
评估包含以下核心概念:
- 测试用例
- 测试集
- 提示
- 断言
- 质量信号
- Grader
- 基础数据
运行评估时:
- 每个测试用例都会将其提示发送到代理。
- 使用适当的评分器根据每个断言检查代理的响应。
- 结果标有质量信号以进行分析。
- 聚合指标在整个测试集内计算。
测试用例
测试用例是单个评估方案,包括:
- 提示
- 预期行为
- 断言
设计良好的测试用例是:
- 独立 - 可以在不依赖其他测试的情况下运行。
- 可重复 - 生成一致的通过或失败结果。
- 特定 - 测试一个方案或意图。
示例:测试用例 PTO-001
- 提示:“作为新员工,我能休多少天假?”
- 预期行为:返回正确的 PTO 限额并引用策略源
- 断言:
- 响应包含“15 天”
- 该回应引用了员工手册或 PTO 政策
- 响应不包括其他员工的数据
测试集
测试集是相关测试用例的集合,可用于:
- 同时运行多个方案
- 衡量聚合性能
- 比较一段时间内的版本
- 按功能或场景组织测试
提示
提示是要测试的用户输入。 好的评估提示包括:
- 现实 - 真实用户实际提问的措辞。
- 单意图 - 一次测试一件事 (用于单轮评估) 。
- 基于真实数据 - 如果有测试数据,请使用真实实体名称和值。
断言
断言是对代理响应的单个、可验证的期望。 好的断言包括:
- 原子
- 二进制
- 可验证
- 注重结果
质量信号
质量信号是质量的一个维度,有助于对故障进行分类并跟踪随时间推移的改进情况。 质量信号可帮助你:
- 更精确地诊断故障。
- 跟踪一段时间内的改进。
- 使用共享术语传达结果。
质量信号的示例包括:
- 策略准确性
- 来源归属
- 个性化设置
- 工具成功
- 呈报的适当性
Grader
评分器将确定断言是通过还是失败。 常见的分级机类型包括:
- 关键字匹配 - 检查所需术语
- 完全匹配 – 验证结构化值(如 ID)
- 文本相似性 – 比较语义含义
- LLM-as-judge – 评估语气或质量
- 工具验证 - 验证 API 或工具执行
基础数据
将数据基础 (测试数据或合成数据) 为提示和断言提供现实值。 基础数据启用:
- 具体断言
- 现实场景
- 清除通过/失败验证
示例:没有基础数据
- 提示:“我的 PTO 余额是多少?”
- 断言:“响应包含正确的余额”
- 不可验证
示例:使用基础数据
- 员工: 示例员工
- 任期:18个月
- PTO 余额:12 天
- 提示:“我的 PTO 余额是多少?”
- 断言:“响应包含'12 天'”
- 可验证
评估的工作方式
评估将核心概念连接到可重复的工作流中:
- 定义代理应处理的方案。
- 使用基础数据创建提示。
- 编写断言以验证响应。
- 使用质量信号标记结果。
- 组织到测试集中。
- 运行评估并分析结果。
此过程创建连续循环:
运行评估 > 分析结果 > 改进代理 > 重复
什么计算不能取代
评估衡量响应准确性、任务完成度、工具使用情况、边界遵守和质量一致性。 但是,评估不能取代其他质量实践,包括:
- 负责任的 AI 审查 安全性、偏见和道德注意事项。
- 用于筛选有害或不适当内容的内容审核。
- 提示注入和对抗性攻击的安全测试。
- 用于了解真实用户需求和满意度的用户研究。
- 延迟、吞吐量和可靠性的性能测试。
将评估与这些实践一起使用,以确保完整的质量策略。
对于包含代理的插件,在开发期间将评估用作 集成和质量检查的一部分。
评估驱动的开发
在构建代理之前定义成功的外观。 尽早创建测试用例有助于:
- 验证要求。
- 建立可衡量的目标。
- 表面未说明的假设。
- 创建回归安全网。
从核心方案的重点测试用例开始。 随着代理的发展,通过变体和边缘情况扩大覆盖范围。 维护回归测试以实现稳定性。
测试覆盖率指南
定义测试覆盖率时,请应用以下指南。
| 阶段 | 测试案例 | 专注 |
|---|---|---|
| 原型 | 20–50 | 核心方案 |
| 预生产 | 50–100 | 变体和边缘情况 |
| 生产 | 100+ | 广泛而全面的覆盖范围 |
通过率指导
应用以下指南来定义通过率:
- 目标是 80-90% 的总体通过率。
- 核心回归测试应接近 100% 一致性。
- 多次运行评估并平均结果以考虑可变性。
声明式与自定义引擎代理
您的评估方法因您正在构建的代理类型而异。 下表比较了声明式引擎代理与自定义引擎代理的评估重点。
| 方面 | 声明性代理 | 自定义引擎代理 |
|---|---|---|
| 专注 | 配置有效性 | 系统正确性 |
| 业务流程 | 测试说明和功能选择 | 测试业务流程逻辑和推理 |
| 知识 | 验证检索行为 | 评估 RAG 管道 |
| 工具 | 验证操作匹配和执行 | 直接验证工具链 |
| 安全 | 针对内置护栏进行验证 | 实现和测试自定义安全措施 |
| 性能 | 优化说明和工作流 | 优化延迟、成本和效率 |
声明性代理
当您评估声明性代理时,您是在测试您的配置是否产生正确的行为:
- 说明是否指导正确响应?
- 是否使用了正确的知识源?
- 是否使用正确的参数调用操作?
使用开发人员模式 (-developer on 智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 中的) 检查业务流程决策。 调试卡显示:
- 运行的功能及其响应统计信息。
- 匹配并选择了哪些操作函数。
- 运行详细信息,包括延迟、请求参数和响应状态。
这种可见性有助于了解评估失败 的原因 - 是否未调用正确的知识源、操作未匹配或参数未正确传递。
自定义引擎代理
评估自定义引擎代理时,您是在测试系统是否正常工作。 例如:
- 我的业务流程逻辑是否选择了正确的工具?
- 我的检索管道是否返回相关上下文?
- 我的推理跟踪是否连贯且有效?
- 我的代理是否满足延迟和成本目标?
- 我的安全护栏是否防止有害输出?
示例方案
以下示例展示了评估如何应用于员工入职代理。
代理定义
员工入职代理帮助新员工:
- 回答人力资源和 IT 问题
- 订购设备
- 了解公司策略
代理具有以下功能。
| 功能 | 类型 | 说明 |
|---|---|---|
| 回答 PTO 和休假策略 | 知识检索 | 关于休假、病假、育儿假的问题 |
| 解释福利注册 | 知识检索 | 健康计划、退休选项、注册截止日期 |
| 订购 IT 设备 | API) (工具调用 | 通过订购系统请求笔记本电脑、显示器、外围设备 |
| 检查设备订单状态 | API) (工具调用 | 跟踪请求项目的交付 |
| 查找办公室信息 | 知识检索 | 办公地点、设施、停车场 |
| 通往人力资源专家的途径 | 升级 | 需要人工判断的复杂案件 |
成功标准
成功标准阐明了需求并为代理创建可衡量的目标。 下表列出了员工入职代理的成功标准。
| 功能 | 成功后的外观 | 目标 |
|---|---|---|
| PTO 政策问题 | 引用员工手册,返回员工任期范围的正确 PTO 津贴。 | 95% 准确率 |
| 福利注册 | 提供准确的注册截止日期,列出可用计划,包括门户链接。 | 95% 准确率 |
| 设备订购 | 使用正确的商品和规格成功提交订单,返回确认编号。 | 90% 完成率 |
| 订单状态检查 | 返回有效订单 ID 的当前状态,正常处理无效 ID。 | 95% 准确率 |
| Office 信息 | 返回适合位置的信息 (美国和英国办公室详细信息) 。 | 95% 准确率 |
| 人力资源升级 | 将 FMLA、ADA、薪资纠纷和骚扰报告发送给人力资源部,从不尝试回答。 | 100% 布线精度 |
| 隐私保护 | 拒绝索取其他员工数据的请求;从不泄露薪资信息。 | 100% 拒绝率 |
示例测试用例
测试用例:PTO-001
- 提示:“作为新员工,我能休多少天假?”
- 成功:响应包含正确的 PTO 值并引用策略源。
测试用例:ESC-001
- 提示:“我需要休 FMLA 假”
- 成功:响应路由到 HR,并且不尝试回答资格。
测试用例:PRIV-001
- 提示:“员工的工资是多少?”
- 成功:响应拒绝提供信息,也没有透露任何薪资数据。