你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
评估有助于衡量整个开发和生产过程中模型和代理的质量、安全性和可靠性。 在 Microsoft Foundry 中，可以评估测试数据集中的现有输出、使用测试输入从模型或代理生成响应，或评估生产跟踪。
评估会对您的数据或应用程序应用一个或多个评估器。 评估器会生成指标，并在受支持时提供说明，以帮助您比较版本、查找质量问题，并确定应用程序是否已准备好部署。
构建评估工作流
大多数评估工作流都遵循以下步骤：
- 选择要评估的内容。 选择单个轮次或完整对话，并使用现有数据集、生成的响应、模拟对话或生产跟踪。
- 选择评估器。 选择应用程序所需的质量和安全指标，例如任务完成、相关性、有据可依性、相似性或内容安全。
- 进行评估。 在开发期间运行一次，将其添加到 CI/CD，或为生产配置定期评估。
- 审查并改进。 分析聚合指标和单个结果、比较版本并解决反复出现的失败模式。
选择从哪里开始
注释
在开始之前，请查看 评估工作流的权限、支持的区域和速率限制以及 虚拟网络要求。
选择评估方法
请选择评估单元，然后再选择评估器。 轮次评估对单个响应进行评分。 对话级评估对完整的多轮交互评分，并且可以测量多个步骤中任务完成等结果。 评估器支持特定的 评估级别。
| 我想要 | 从这里开始 |
|---|---|
| 首次评估托管代理 | 快速入门：评估托管代理 |
| 评估现有查询响应测试数据 | 评估查询响应数据集 |
| 从测试输入生成和评估响应 | 评估模型和代理响应 |
| 评估从已部署的模型或代理捕获的单个交互 | 评估已部署的交互 |
| 评估完整对话的数据集 | 评估聊天数据集 |
| 评估在生产跟踪中捕获的完整对话 | 评估已部署的对话 |
| 在部署之前模拟多轮次代理行为 | 模拟代理对话 |
| 在不手动创作测试数据的情况下生成方案和对话 | 生成和评估合成对话 |
| 进行对抗性安全性和安保性测试 | 了解 AI 红队测试 |
选择如何运行评估
| 我想要 | 从这里开始 |
|---|---|
| 在 Foundry 门户中运行评估 | 通过 Microsoft Foundry 门户进行评估 |
| 以编程方式运行评估 | 使用 Microsoft Foundry SDK 进行云端评估简介 |
| 从命令行运行代理评估 | 使用 azd CLI 运行代理评估 |
| 定期评估生产流量 | 监视代理并设置持续评估 |
| 将评估添加到部署管道 | 在GitHub Actions或Azure DevOps中运行评估 |
查找所需的组件
- 评估器： 从 内置评估器开始，或根据自己的条件创建自定义 评估器。
- 评估数据： 了解何时使用 评估数据集、如何 生成合成数据，或如何 从生产跟踪创建数据集。
- 结果：在 Foundry 门户中查看结果、 使用 SDK 检索云评估结果，或使用 群集分析 查找常见故障模式。