评估代理的响应

已完成

创建代理只是第一步。 测试可帮助你了解代理遵循其说明、使用可用信息并生成预期输出的方式。

在上一练习中，你创建了客户会议准备代理。 现在，你需要确定它是否可以生成有用且可靠的会议简报。 在本单元中，你将了解如何创建有效的测试提示、评估代理的响应，并确定可提高其性能的更改。

阶段	操作	目标
测试	提交实际请求	观察代理的响应方式
Review	评估响应	确定哪些方面有效，哪些方面需要改进
调整	更新代理	改进其说明或知识内容
重复	再次测试代理	确认更改改进了响应

使用明确的目标进行测试

有效的测试从知道成功响应应包含的内容开始。 如果没有明确的预期，很难确定代理是否已正确执行其作业。

对于客户会议准备代理，成功的响应应提供结构化的简短信息，帮助销售团队成员准备客户对话。

简述应：

• 汇总所提供的客户信息。
• 确定优先级、需求或潜在讨论主题。
• 将客户优先级连接到相关的已批准信息。
• 为会议提出有用的问题。
• 明确标识缺少的信息。
• 避免对客户作出没有依据的假设。

目标不是每次都生成相同的响应。 目标是确认每个响应都遵循代理的目的，并提供有用的基础支持。

使用不同类型的测试提示

一次成功的响应并不能说明代理已准备好可供使用。 测试提示应表示人员可能与代理交互的不同方式。

首先提出一个典型请求，其中包含足够的信息，让代理能够完成其任务。 然后测试代理在信息缺失或请求超出预期目的时如何响应。

测试类型	它评估的内容	Example
典型请求	代理如何执行其主要任务	使用提供的信息为客户准备会议简报
不完整的请求	代理是否识别缺失的信息	帮助我准备我的客户会议
跟进请求	代理是否能够基于对话继续展开	向简短内容添加五个发现问题
范围外请求	代理是否专注于其用途	创建完整的年度销售策略
基于知识的请求	代理是否使用已添加的知识源	哪个批准的产品信息与此客户相关？

强代理应完成适当的请求，在必要时请求澄清，并避免将不受支持的信息显示为事实。

查看响应

应根据智能体的预期目的来评估每个回答，而不是仅凭其措辞是否精致来判断。 编写良好的响应可能仍然不完整、不准确或不受支持。

查看响应时，请使用以下条件：

评估区域	要提问的问题
Accuracy	响应是否正确表示提供的信息？
相关性	它是否专注于准备客户会议？
完整性	它是否包括会议简报的预期部分？
清晰	响应是否组织且易于使用？
上下文关联	响应是否受提供的信息或批准的知识支持？
Boundaries	代理是否标识缺少的信息，而不是做出假设？

重要

在使用或共享代理之前，请始终查看代理的输出。 代理可以提供有用的支持，但用户仍负责确认信息准确且适合情况。

确定需要更改的内容

当响应不符合预期时，请在编辑代理之前确定可能的原因。 不同的问题需要不同的调整。

如果智能体……	请考虑更改...
生成不一致的格式	组织响应的说明
遗漏了简报中的一个重要部分	所需的步骤或输出部分
给出的回答过于宽泛	代理的用途或范围
做出不受支持的假设	有关处理缺失信息的说明
错过相关信息	连接的知识源
提供太多详细信息	关于响应长度和优先级的说明
不知道如何开始	初学者提示或示例

尽可能一次进行一个重点更改。 这样，可以更轻松地确定调整是否改进了代理的响应。

记录所学内容

在测试期间，请跟踪：

• 你使用的提示词。
• 效果很好。
• 缺少哪些信息。
• 任何不正确的假设。
• 你计划进行的更改。

记录你的观察，有助于在优化代理后更轻松地比较结果。

优化代理

精简是基于通过测试学到的内容更新代理的过程。 可能需要阐明指令、缩小代理的目的、改进预期的输出格式或添加相关知识。

您可以通过更新以下内容来改进 Customer Meeting Prep 代理：

• 说明： 阐明代理的目的和预期用途。
• 说明： 添加缺少的步骤、边界或格式要求。
• 知识： 添加或替换代理可以引用的已批准信息。
• 初学者提示： 提供代理支持的任务的更清晰示例。

例如，如果代理提供常规摘要而不是结构化摘要，请向其说明添加特定的输出部分：

• 客户概述
• 会议目标
• 客户优先级
• 相关产品或解决方案
• 建议的讨论主题
• 建议的问题
• 缺少信息

进行更改后，重复原始测试。 将新响应与上一个响应进行比较，以确定调整是否改善了结果。

有了评估计划，即可测试客户会议准备代理、查看其响应，并在下一练习中进行重点改进。