智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI (@microsoft/m365-copilot-eval) (以前称为代理评估 CLI)可帮助您通过结构化评估和结果报告来测试、衡量和提高代理的质量。 CLI v2 预览版还支持评估使用插件的智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 响应。
重要
对于已部署的声明式代理,请从 Work IQ Dev Tools 开始,以获得引导式工作流。 工作 IQ 开发工具管理兼容的智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 版本,并通过以下方式wiqd agent eval公开它。 如果需要较低级别的命令控制或维护现有 runevals 工作流,请使用本节中的独立 CLI 指南。
选择 CLI 版本
npm 包名称和 runevals 命令未更改。
| 版本 | npm 标记 | 评估范围 |
|---|---|---|
| v1 | latest |
已部署的代理。 快速入门涵盖此版本。 |
| v2 预览版 | preview |
已部署的代理和使用插件的 智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 响应。 对于具有架构 v2 的工具 调用评估程序 是必需的。 |
在 v2 预览版中,没有配置代理 ID 的运行将评估智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶® 聊天,而不是选择代理。 对于插件运行,请先在 Copilot 中预配和启用插件,然后从 shell 和加载的环境文件中删除 M365_AGENT_ID 旧版插件 AGENT_ID 。 此设置评估 Copilot 体验,而不是孤立的插件终结点。
有关预览安装和工具调用数据集示例,请参阅 工具调用评估程序。
可执行的操作
评估工具提供以下功能:
- 运行批处理和交互式评估。
- 使用 Microsoft Foundry 云评估和内置指标自动对响应进行评分。
- 使用 JSON 数据集、内联提示或交互式输入进行测试。
- 以 HTML、JSON 或 CSV 格式生成报告。
评估指标
响应评估员对答案质量进行评分。 工具调用评估程序检查运行时诊断,而不是响应文本。
| 评估器 | 类型 | 缩放 | 默认阈值 | 默认 |
|---|---|---|---|---|
| 相关性 | 基于 LLM | 1-5 | 3 | 是 |
| 相干性 | 基于 LLM | 1-5 | 3 | 是 |
| 接地气 | 基于 LLM | 1-5 | 3 | 否 |
| 相似性 | 基于 LLM | 1-5 | 3 | 否 |
| RetrievalQuery | 非法学硕士 | 通过/失败 | 不适用 | 否 |
| RetrievalResult | 非法学硕士 | 比例 | 1.0 | 否 |
| ToolCallSelection (v2 预览版) | 非法学硕士 | 通过/失败/错误 | 1.0,固定 | 否 |
| ToolCallExecution (v2 预览版) | 非法学硕士 | 通过/失败/错误 | 1.0,固定 | 否 |
| 引文 | 基于计数 | >= 0 | 1 | 否 |
| ExactMatch | 字符串匹配 | boolean | 不适用 | 否 |
| PartialMatch | 字符串匹配 | 0.0-1.0 | 0.5 | 否 |
有关每个评估器的详细信息,包括配置选项和示例数据集,请参阅 评估器参考。
评估工作流的工作原理
评估遵循一致的工作流:
- 安装和配置 CLI。
- 提供环境配置和凭据。
- 创建测试提示的数据集。
- 针对代理运行评估。
- 查看结果并迭代。
必需的环境变量
评估工具使用环境变量进行身份验证并连接到租户和 Microsoft Foundry 项目。 以下设置介绍 v1 代理评估工作流。 仅使用确定性评估程序(包括 v2 预览版中的工具调用评估程序)的运行不需要 Microsoft Foundry 评分配置。
| 变量 | 说明 | 默认 |
|---|---|---|
TENANT_ID |
部署代理的 Microsoft Entra 租户 ID。 | 无 |
AZURE_AI_PROJECT_ENDPOINT |
用于云评估的 Microsoft Foundry 项目终结点。 对于 Microsoft Foundry LLM 法官是必需的,不适用于确定性评估员。 | 无 |
AZURE_AI_MODEL_NAME |
Microsoft Foundry 项目中的模型部署名称。 | gpt-5-mini |
M365_TITLE_ID (可选) |
用于自动检测 Microsoft 365 代理 ID 以进行评估的游戏 ID。 | 无 |
M365_AGENT_ID (可选) |
用于评估的显式代理 ID。 | 自动检测来源 M365_TITLE_ID |
这些值启用身份验证,并允许工具使用 Microsoft Foundry 运行基于 LLM 的评估评分。 有关如何获取这些值的详细信息,请参阅 获取环境变量的值。