快速入门:使用 智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI

智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI (@microsoft/m365-copilot-eval) 通过自动提示评估和基于 AI 的评分,帮助您测试、衡量和提高代理的质量。 本快速入门将引导你完成安装 CLI、配置环境、创建第一个数据集和运行评估的过程。

注意

本快速入门使用 CLI v1 (latest) 来评估已部署的代理。 有关 CLI v2 预览版、插件方案以及新的 ToolCallSelection 和 ToolCallExecution 评估程序,请参阅 工具调用评估程序。

重要

对于已部署的声明式代理,请从 Work IQ Dev Tools 开始,以获得引导式工作流。 工作 IQ 开发工具管理兼容的智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 版本,因此无需全局安装@microsoft/m365-copilot-eval。 如果需要较低级别的命令控制或维护现有 runevals 工作流,请按照此快速入门操作。

先决条件

开始之前,请确保你有:

  • 部署到租户的智能 Microsoft 365 Copilot 副驾驶®代理。
  • Node.js 24.12.0 或更高版本 (用于node --version检查) 。
  • 租户中可用的 Copilot 额度。 智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 在向代理发送测试提示时消耗 Copilot 额度。 租户管理员通过转到“Copilot>成本管理”节点,在Microsoft 365 管理中心中启用基于使用情况的 (按流量计费的) 计费。 有关详细信息,请参阅 管理 Copilot 额度。
  • 一个 Microsoft Foundry 项目,其中部署了 GPT-5 模型来对响应进行评分。 有关详细信息,请参阅 获取环境变量的值。
  • 租户中 Work IQ 已授予 Microsoft Entra 管理员同意。 如果你不是租户管理员,请在首次运行 runevals 之前请求管理员授予许可。 有关详细信息,请参阅 授予管理员同意。
  • 你的租户 ID 和 Microsoft Foundry 项目终结点。 如果没有这些值,请参阅 获取环境变量的值。

注意

本快速入门假定你使用的是 Windows 开发环境。 即将推出对其他操作系统的身份验证支持。

步骤 1:安装 CLI

使用 npm 全局安装智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI v1:

npm install -g @microsoft/m365-copilot-eval@latest

验证安装:

runevals --version

安装后,该 runevals 命令将在系统上全局可用。

步骤 2:设置项目结构

从 Microsoft 365 代理项目目录 (代理代码所在的) 目录运行评估工具,而不是从评估工具存储库运行评估工具。

cd /path/to/your-agent-project

代理项目应包含以下文件和文件夹:

my-agent/
├── .env.local              # Agent configuration (Agents Toolkit projects)
├── .env.local.user         # Secrets — never committed
├── evals/
│   └── evals.json          # Your test dataset (auto-discovered)
└── .evals/
    └── <generated reports> # Results written here (YYYY-MM-DD_HH-MM-SS.html)

您在步骤 4 中创建 evals/evals.json 数据集。 .evals/首次运行时将自动创建报表文件夹。

步骤 3:配置环境变量

选择与项目类型匹配的选项。

提示

如果使用 Microsoft 365 Agents Toolkit 生成代理, .env.local 则已经使用代理配置。 在项目根目录中创建 .env.local.user 机密。

Microsoft 365 智能体工具包项目

您无需直接设置 M365_AGENT_ID — CLI 会从 M365_TITLE_ID ..env.local 有关详细信息,请参阅 获取代理 ID。

将机密添加到:.env.local.user

# .env.local.user (NOT checked in — secrets go here)
TENANT_ID="your-tenant-id-here"
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # default

智能 智能 Microsoft 365 Copilot 副驾驶® 副驾驶®评估 CLI 通过使用 Microsoft Foundry 云评估对响应进行评分,该评估使用 Microsoft Entra 进行身份验证。 在运行runevals之前使用 Azure CLI 登录 (az login) 。 有关这些值的详细信息,请参阅 获取环境变量的值。

添加到 .env.local.user.gitignore:

# User-specific secrets — never commit
.env.local.user
env/.env.local.user

步骤 4:创建第一个数据集

使用一小组提示和预期响应进行创建 evals/evals.json 。 此示例使用最简单的有效架构进行单轮次评估。

{
  "schemaVersion": "1.0.0",
  "items": [
    {
      "prompt": "What is Microsoft 365?",
      "expected_response": "Microsoft 365 is a cloud-based productivity suite that includes Office apps, cloud services, and device management."
    },
    {
      "prompt": "How do I share a file in Microsoft Teams?",
      "expected_response": "To share a file in Teams, you can upload it to a channel or chat, or share it from OneDrive with specific permissions."
    }
  ]
}

提示

如果跳过此步骤,该工具会在您第一次运行 runevals时提供带有示例提示的起始文件。

有关完整的数据集架构、类别和高级模式,请参阅 创建评估测试套件。

步骤 5:运行第一次评估

对于 Agents Toolkit 项目, (自动使用 .env.local 和 .env.local.user) :

runevals

对于非 Agents Toolkit 项目:

runevals --env dev

步骤 6:确认成功设置

成功运行会产生:

  • 终端中出现类似于以下消息的完成消息。

    Microsoft 365 Copilot Evaluations CLI
    
    Loading environment: dev
    Agent ID: T_my-agent.declarativeAgent
    Using prompts file: ./evals/evals.json
    
    Running evaluations...
    
    Evals completed successfully!
    Results saved to: ./.evals/2026-04-22_14-30-45.html
    
  • 保存到的 HTML 报表会 ./.evals/YYYY-MM-DD_HH-MM-SS.html 在浏览器中自动打开。

该报告包括每个提示的分数。

评估器 类型 缩放 默认阈值 默认
相关性 基于 LLM 1-5 3 是
相干性 基于 LLM 1-5 3 是
接地气 基于 LLM 1-5 3 否
相似性 基于 LLM 1-5 3 否
引文 基于计数 >= 0 1 否
ExactMatch 字符串匹配 boolean 不适用 否
PartialMatch 字符串匹配 0.0-1.0 0.5 否

如果看不到这些结果,请参阅 故障排除。