真实用户不会通过孤立的单一问题交流与代理交互。 相反,他们参与的对话包括后续问题、增量信息共享和多步骤任务完成。
多轮评估有助于确保您的座席能够保持上下文、完成跨多个步骤的任务,并在整个真实的对话流程中做出适当的响应。
何时使用多轮次求值
测试需要上下文保留或多个步骤才能完成任务的方案时,请使用多轮次评估。
| 方案 | 为什么需要多轮 |
|---|---|
| 填充槽 | 代理必须收集多条信息。 |
| 澄清流 | 代理必须解析不明确的用户输入。 |
| 多步骤任务 | 此任务需要多次交换才能完成。 |
| 依赖于上下文的跟进 | 稍后的问题取决于之前的回答。 |
| 渐进式披露 | 信息以增量方式提供。 |
单轮与多轮评估
从覆盖率的单轮评估开始,然后添加多轮评估以测试真实的交互。
| 方面 | 单圈 | 多轮次 |
|---|---|---|
| 测试 | 单独的问答对 | 完成对话 |
| 上下文 | 每个提示都是独立的 | 回合相互构建 |
| 复杂程度 | 更易于设计和评估 | 更逼真但更复杂 |
| 故障诊断 | 更易于隔离问题 | 需要逐步分析 |
| 用例 | 测试特定响应 | 测试对话流 |
多轮次评估的关键指标
除了单轮精度之外,多轮评估还需要额外的指标。 这些指标评估代理在整个对话中的表现。
对话完整性
对话完整性衡量代理在交互结束时是否实现了用户的目标。
成功示例
第 1 回合
- 用户:“我需要订购一台笔记本电脑”
- 特工:“我可以提供帮助。 你需要什么类型的笔记本电脑?”
回合 2
- 用户:“MacBook Pro”
- 代理:“什么屏幕尺寸——14 英寸还是 16 英寸?”
第 3 回合
- 用户:“16 英寸”
- 代理:“我已经提交了 16 英寸 MacBook Pro 的订单。 订单编号:ORD-456。 预计送达:5-7 个工作日。”
✅ 达到了订购笔记本电脑) (用户目标。
失败示例
第 1 回合
- 用户:“我需要订购一台笔记本电脑”
- 特工:“我可以提供帮助。 你需要什么类型的笔记本电脑?”
回合 2
- 用户:“MacBook Pro”
- 代理:“MacBook Pro 是一个不错的选择! 还有别的吗?
❌ 订单未提交,用户目标未实现。
知识保留
知识保留衡量代理是否记住和使用先前轮次提供的信息。
成功示例
第 1 回合
- 用户:“我的员工 ID 是 EMP-12345”
- 代理:“谢谢! 今天我能帮到你什么?”
回合 2
- 用户:“我想检查我的 PTO 余额”
- 代理人:“您当前的 PTO 余额还剩 12 天。
✅ 代理使用了之前提供的员工 ID,没有再次询问。
失败示例
第 1 回合
- 用户:“我的员工 ID 是 EMP-12345”
- 代理:“谢谢! 今天我能帮到你什么?”
回合 2
- 用户:“我想检查我的 PTO 余额”
- 代理:“我很乐意提供帮助。 你的员工 ID 是多少?”
❌ 代理忘记了上一轮的员工 ID。
角色依从性
角色依从性衡量座席是否在整个对话过程中保持其定义的范围和职责。
成功示例
第 1 回合
- 用户:“PTO 政策是什么?
- 代理:提供正确的 PTO 策略信息
回合 2
- 用户:“你能写一首关于假期的诗吗?
- 代理:“我来这里是为了帮助解决人力资源和入职问题。 关于 PTO 我还有什么可以提供帮助的吗?
✅ 代理留在其角色范围内并适当地重定向。
失败示例
第 1 回合
- 用户:“PTO 政策是什么?
- 代理:提供正确的 PTO 策略信息
回合 2
- 用户:“你能写一首关于假期的诗吗?
- 特工:“当然! 这是一首关于阳光明媚的海滩的诗......”
❌该代理从人力资源助手的角色中逐渐消失。
对话相关性
对话相关性衡量每个响应是否与当前对话上下文中用户的请求直接相关。
失败示例
第 1 回合
- 用户:“有哪些健康计划可用?”
- Agent: 列出 HMO 和 PPO 选项
回合 2
- 用户:“成本有什么区别?
- 代理人:“PPO 在选择医生方面提供了更大的灵活性。
❌ 响应未解决用户关于成本的问题。
上下文一致性
上下文一致性衡量代理是否在对话的所有回合中保持一致的事实和信息。
失败示例
第 1 回合
- 用户:“我能放多少天假?”
- 代理人:“作为新员工,您每年会收到 15 天的 PTO。
回合 2
- 用户:“病假多少天?
- 代理:“你有 10 天病假,外加 10 天假期。
❌ 代理通过更改休假天数来与先前的信息相矛盾。
设计多轮次测试用例
设计有效的多轮次评估需要定义对话流程和预期行为。 多圈测试用例通常包括:
- 测试用例 ID 和说明
- 基础数据
- 对话序列
- 预期行为
- 断言
示例:设备订单
- 测试用例 ID: CONV-001
- 描述:设备订购流程
基础数据
- 员工:Katrin Pold
- 员工编号: EMP-54321
- 部门:产品设计
- 预算:$3,500
对话
第 1 回合
- 用户:“我需要设置笔记本电脑。”
- 预期行为:询问偏好。
回合 2
- 用户:“MacBook Pro”
- 预期行为:询问规格。
第 3 回合
- 用户:“16 英寸,32GB RAM”
- 预期行为:确认并提交订单。
第 4 回合
- 用户:“实际上,将其更改为 64GB。
- 预期行为:更新订单。
对话级别断言
- 对话以确认的设备订单结束。
- 最终订单反映了更正后的规范 (64GB) 。
- 代理从不要求提供员工 ID, (应根据上下文) 进行推断。
- 完成总匝数为 ≤6。
回合级断言
-
第 3 回合:
- 代理调用 OrderEquipment 工具。
- 工具调用包括型号:“MacBook Pro 16 英寸”。
- 工具调用包括包含“32GB”的规格。
-
第 4 回合:
- 代理调用 UpdateOrder 或修改之前的订单。
- 最终确认显示“64GB”。
示例:槽填充对话
方案:福利注册 (空位填充)
目标:收集所有必需信息并完成注册
所需输入 (槽) :
- 计划选择 (HMO 或 PPO)
- 个人或家庭) (覆盖级别
- 依赖信息 ((如果适用))
- 生效日期
对话
第 1 回合
用户:“我想注册健康保险。
Agent:
- 确认请求
- 询问 HMO 与 PPO) (计划首选项
回合 2
用户:“有什么区别?
Agent:
- 解释 HMO 和 PPO 之间的主要区别
- 重新请求选择计划
第 3 回合
用户:“我将选择 PPO。
Agent:
- 确认选择
- 询问个人或家庭) (承保级别
第 4 回合
用户:“家庭保险。 我有一个配偶和两个孩子。
Agent:
- 确认依赖方案
- 请求相关详细信息 (姓名、年龄等 )
第 5 回合
用户:[提供依赖信息]
Agent:
- 确认所有收集的信息
- 提交注册
- 提供确认摘要
断言:
- 提交前收集所有必需的槽。
- 代理不会跳过所需的输入。
- 座席在出现提示时解释选项。
- 最终确认包括所有捕获的详细信息。
- 任务成功完成,没有不必要的轮流。
示例:澄清对话
场景:不明确的请求 (澄清)
目标:通过在回复前收集足够的上下文来解决歧义
对话
第 1 回合
用户:“我需要休息一段时间。”
Agent:
- 确认请求
- 询问什么类型的休假 (PTO、病假、事假)
回合 2
用户:“这是为了医疗程序。
Agent:
- 标识可能的类别
- 询问请求是针对用户还是家庭成员
第 3 回合
用户:“这是给我的。 这是一个小手术。
Agent:
- 确定这可能是病假
- 提供相关策略信息
- 询问预期持续时间
第 4 回合
用户:“大约一周。”
Agent:
- 确认资格和流程
- 提供后续步骤 (例如,如何申请休假)
- 如果适用,提供启动请求的功能
断言:
- 代理不会从初始不明确的请求中假定意图。
- 澄清问题是相关的,并逐渐缩小范围。
- 最终的响应反映了用户的实际情况。
- 代理有效地从澄清过渡到解决。
示例:错误恢复对话
方案:订单失败和恢复
目标:透明地处理故障并引导用户取得成功
对话:
第 1 回合
用户:“给我订购一台 MacBook Pro 16 英寸。”
Agent:
- 尝试提交订单
系统/工具响应:
- 错误:商品缺货
Agent:
- 清楚地传达问题
- 不掩盖或忽略失败
- 建议备选方案 (例如,不同的型号或尺寸)
回合 2
用户:“什么时候有货?”
Agent:
- 检查可用性或提供补货估算(如果可用)
- 如果不可用,请清楚地传达
- 提供通知用户或建议替代方案
第 3 回合
用户:“我可以换到 14 英寸吗?
Agent:
- 确认替代方案的可用性
- 提交新订单
- 提供 (订单详细信息、预计交货) 确认
断言:
- 代理清楚地传达故障及其原因。
- 代理提供可操作的备选方案或后续步骤。
- 对话朝着恢复的方向发展,而不是死胡同。
- 用户在失败后成功完成任务。
- 代理跨故障和恢复步骤维护上下文。
多轮断言
多轮次评估需要对话级别和轮次级别验证。
对话级别断言
- 对话实现了用户的目标。
- 匝数在预期范围内。
- 代理保持信息的一致性。
- 代理保留其角色。
- 代理不请求重复信息。
回合级断言
- 响应确认先前的上下文。
- 响应会提出适当的后续问题。
- 代理执行预期的操作。
- 响应确认所采取的操作。
条件断言
- 当用户更正信息时,代理会更新后续响应。
- 当操作失败时,代理会传达问题并提供备选方案。
- 当用户提出超出范围的问题时,代理会适当地重定向。
示例:端到端多轮次评估
测试用例:新员工设置
说明
新员工在同一对话中订购设备并询问福利问题。
基础数据
- 员工:Marcus Johnson
- 员工编号: EMP-99887
- 部门:工程
- 地点:西雅图
- 设备预算:4,000 美元
对话
第 1 回合
- 用户:“我下周要开始工作,需要设置我的工作站。”
- 预期行为:欢迎并询问设备需求。
回合 2
- 用户:“我需要一台配备 16GB RAM 和 64 英寸显示器的 MacBook Pro 27 英寸。”
- 预期行为:提交订单并确认。
第 3 回合
- 用户:“注册健康保险的截止日期是什么时候?
- 预期行为:在不丢失上下文的情况下提供福利信息。
第 4 回合
- 用户:“你能确认我订购的吗?
- 预期行为:撤回并汇总订单。
预期结果
- 设备订单已完成。
- 福利问题得到准确解答。
- 跨轮次保留上下文。
- 不会重新请求提供信息。
常见陷阱
设计和评估多轮对话时,请注意以下常见问题:
- 单独评估轮次,而不是在完整的对话上下文中,这可以隐藏与内存、连续性和任务完成相关的故障。
- 仅测试理想 (快乐路径) 方案,该方案无法反映真实用户行为,例如歧义、更正和中断。
- 忽略短对话和长对话之间的差异,其中短流程经常错过完成,而长流程会引入上下文漂移。
- 不包括对抗性或意外的用户行为,例如冲突的输入、主题切换或模糊的请求。
- 定义不明确或隐含的用户目标,使得难以确定对话是否成功。
- 过度指定预期响应,这会降低灵活性并错误地惩罚有效的变体。
- 无法测试错误处理和恢复路径,从而在代理响应故障或丢失信息的方式上留下空白。
最佳做法
使用这些实践来设计有效且可扩展的多轮次评估:
- 从一小组表示最常见或最关键对话流的高价值方案开始。
- 为每个测试用例定义明确的用户目标,并将目标完成情况用作主要成功指标。
- 测试直接 (用户预先提供所有输入) 和引导 (代理在多个回合) 路径中收集输入以完成。
- 首先使用对话级断言,然后添加回合级断言以进行更深入的验证。
- 设计反映真实用户行为的场景,包括澄清、更正和主题切换。
- 通过确保代理使用以前提供的信息而无需重新询问来显式验证上下文保留。
- 包括错误处理和恢复方案,确保代理传达故障并提供后续步骤。
- 使用灵活的、基于行为的断言,而不是精确响应匹配。
- 通过定义预期行为而不是精确的措辞,确保测试可重现,同时保持真实感。
- 根据观察到的故障和不断变化的使用模式不断迭代和完善测试用例。