快速入門:使用 Microsoft 365 Copilot 評估 CLI

Microsoft 365 Copilot評估 CLI (@microsoft/m365-copilot-eval) 可協助您透過自動化提示評估和基於 AI 的評分來測試、衡量和改進代理的品質。 本快速入門將逐步引導您安裝 CLI、設定您的環境、建立您的第一個資料集,以及執行評估。

注意

本快速入門使用 CLI v1 (latest) 來評估已部署的代理程式。 如需 CLI v2 預覽、外掛程式案例,以及新的 ToolCallSelection 和 ToolCallExecution 評估工具,請參閱 工具呼叫評估工具。

重要

對於已部署的宣告式代理程式,請從引導式工作流程的 Work IQ 開發工具 開始。 Work IQ 開發工具會管理相容的 Microsoft 365 Copilot 評估 CLI 版本,因此您不需要全域安裝@microsoft/m365-copilot-eval。 當您需要較低層級的命令控制或維護現有 runevals 的工作流程時,請遵循本快速入門。

先決條件

開始前,請先確定您已:

  • 已部署至您租用戶的 Microsoft 365 Copilot 代理程式。
  • Node.js 24.12.0 或更新版本 (用來 node --version 檢查) 。
  • 您的租用戶中提供的 Copilot 點數。 Microsoft 365 Copilot 評估 CLI 在傳送測試提示給您的代理程式時,會耗用 Copilot 點數。 您的租用戶系統管理員會在Microsoft 365 系統管理中心中移至 [Copilot>成本管理] 節點,以開啟依使用量 (計量付費) 計費。 如需詳細資訊,請參閱 管理 Copilot 點數。
  • 部署了 GPT-5 模型來評分回應的 Microsoft Foundry 專案。 如需詳細資訊,請參閱 取得環境變數的值。
  • 已針對租用戶中的 Work IQ 授與 Microsoft Entra 系統管理員同意。 如果您不是租用戶系統管理員,請在您第一次執行 runevals 之前,要求系統管理員授與同意。 如需詳細資訊,請參閱 授與系統管理員同意。
  • 您的租用戶識別碼和 Microsoft Foundry 專案端點。 如果您沒有這些值,請參閱 取得環境變數的值。

注意

本快速入門假設您使用 Windows 開發環境。 其他作業系統的驗證支援即將推出。

步驟 1:安裝 CLI

使用 npm 全域安裝 Microsoft 365 Copilot 評估 CLI v1:

npm install -g @microsoft/m365-copilot-eval@latest

確認安裝:

runevals --version

安裝之後,該 runevals 命令在您的系統上全域可用。

步驟 2:設定您的專案結構

從 Microsoft 365 代理程式專案目錄 (代理程式程式碼所在的) 執行評估工具,而不是從評估工具存放庫執行評估工具。

cd /path/to/your-agent-project

您的代理專案應包含下列檔案和資料夾:

my-agent/
├── .env.local              # Agent configuration (Agents Toolkit projects)
├── .env.local.user         # Secrets — never committed
├── evals/
│   └── evals.json          # Your test dataset (auto-discovered)
└── .evals/
    └── <generated reports> # Results written here (YYYY-MM-DD_HH-MM-SS.html)

您在步驟 4 中建立 evals/evals.json 資料集。 報表資料夾會在 .evals/ 初次執行時自動建立。

步驟 3:設定環境變數

選擇符合您專案類型的選項。

秘訣

如果您使用 Microsoft 365 Agents Toolkit 建立代理程式,則您的代理程式設定已經具有 .env.local 。 在您的專案根目錄中建立 .env.local.user 祕密。

Microsoft 365 Agents Toolkit 專案

您不需要直接設定 M365_AGENT_ID — CLI 會自動從 M365_TITLE_ID.env.local中偵測它。 如需詳細資料,請參閱 取得您的客服人員識別碼。

將密碼新增至 .env.local.user:

# .env.local.user (NOT checked in — secrets go here)
TENANT_ID="your-tenant-id-here"
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # default

Microsoft 365 Copilot 評估 CLI 使用 Microsoft Foundry 雲端評估來對回應進行評分,該評估會使用 Microsoft Entra 進行驗證。 執行runevals之前,請先使用 Azure CLI (az login) 登入。 如需這些值的詳細資訊,請參閱 取得環境變數的值。

新增至 .env.local.user 您的 .gitignore:

# User-specific secrets — never commit
.env.local.user
env/.env.local.user

步驟 4:建立您的第一個資料集

使用一小組提示和預期的回應來建立 evals/evals.json 。 此範例使用最簡單的有效架構進行單輪評估。

{
  "schemaVersion": "1.0.0",
  "items": [
    {
      "prompt": "What is Microsoft 365?",
      "expected_response": "Microsoft 365 is a cloud-based productivity suite that includes Office apps, cloud services, and device management."
    },
    {
      "prompt": "How do I share a file in Microsoft Teams?",
      "expected_response": "To share a file in Teams, you can upload it to a channel or chat, or share it from OneDrive with specific permissions."
    }
  ]
}

秘訣

如果跳過此步驟,該工具會在您第一次執行 runevals時提供包含範例提示的入門檔案。

如需完整的資料集結構描述、類別和進階模式,請參閱 建立評估測試套件。

步驟 5:執行您的第一個評估

針對 Agents Toolkit 專案 (自動使用 .env.local 和 .env.local.user) :

runevals

對於非 Agents Toolkit 專案:

runevals --env dev

步驟 6:確認成功設定

成功執行會產生:

  • 終端機中的完成訊息,類似下列訊息。

    Microsoft 365 Copilot Evaluations CLI
    
    Loading environment: dev
    Agent ID: T_my-agent.declarativeAgent
    Using prompts file: ./evals/evals.json
    
    Running evaluations...
    
    Evals completed successfully!
    Results saved to: ./.evals/2026-04-22_14-30-45.html
    
  • 儲存至該 HTML 報表, ./.evals/YYYY-MM-DD_HH-MM-SS.html 該報表會自動在您的瀏覽器中開啟。

報告包含每個提示的分數。

評估工具 Type (類型) Scale 預設信用額度 預設
相關性 LLM 型 1-5 3 是
一致性 LLM 型 1-5 3 是
接地氣 LLM 型 1-5 3 否
相似性 LLM 型 1-5 3 否
引文 計數型 >= 0 1 否
ExactMatch 字串比對 布林值 不適用 否
PartialMatch 字串比對 0.0-1.0 0.5 否

如果您沒有看到這些結果,請參閱 疑難排解。