若要改善 宣告式代理 程式和 自訂引擎代理程式的品質,請設計並執行代理程式評估。 無論您使用 Copilot Studio、Microsoft 365 Agents SDK 或 Microsoft Teams AI 文件庫來建置代理程式,代理程式評估都適用於任何代理程式。
從 Work IQ 宣告式代理程式的開發工具開始
對於已部署的宣告式代理程式,請從 Work IQ 開發工具 開始,以進行引導式評估工作流程。 和wiqd plugin eval工作流程會wiqd agent eval管理相容的 Microsoft 365 Copilot 評估 CLI 版本、執行評估,並產生結果計分卡。 您不需要針對此工作流程全域安裝 @microsoft/m365-copilot-eval 。
當您需要較低層級的命令控制或維護現有runevals的工作流程時,請直接使用 Microsoft 365 Copilot 評估 CLI。
不論評估執行階段為何,都請使用本文中的概念和設計指引。 對於自訂引擎代理程式,請使用支援您的架構、執行階段和品質需求的評估工具。
為何評估很重要
如果沒有評估,您就無法可靠地衡量對代理程式的變更是改善還是降低品質。 常見的挑戰包括:
- 變更是手動測試的,無法確認它們是否有幫助。
- 使用者回報的問題無法一致地重現。
- 更新知識來源有風險,因為您無法預測影響。
- 利害關係人會詢問品質是否有所改善,而您無法量化變化。
評估提供了一個可重複的反饋循環,可以解決這些挑戰中的每一個:
- 進行變更。 執行您的測試集。 結果準確地顯示了哪些改善或倒退。
- 分類使用者報告。 將其新增為測試案例、修正問題,並將案例保留在迴歸集中,使其保持固定。
- 更新知識來源。 執行評估以在使用者之前捕捉迴歸。
- 使用資料回答專案關係人的問題。 你可以說「政策準確率從 87% 增加到 96%」,而不是「感覺更好」。
評估可協助您了解哪些有效、哪些無效,以及您的變更是否能讓您的客服專員變得更好。
核心評估概念
評估由以下核心概念組成:
- 測試案例
- 測試集
- 提示
- 斷言
- 品質訊號
- 評分器
- 基礎資料
當您執行評估時:
- 每個測試案例都會將其提示傳送給代理程式。
- 使用適當的評分器根據每個斷言檢查代理的回應。
- 結果標記有質量信號以進行分析。
- 彙總計量是在整個測試集中計算。
測試案例
測試案例是單一評估案例,包含:
- 提示
- 預期行為
- 判斷提示
設計良好的測試案例是:
- 獨立 - 可以在不依賴其他測試的情況下執行。
- 可重複 - 產生一致的通過或失敗結果。
- 特定 - 測試一個案例或意圖。
範例:測試案例 PTO-001
- 提示:「身為新員工,我可以享有多少假期?」
- 預期行為:傳回正確的 PTO 配額並引用原則來源
- 斷言:
- 回應包含「15 天」
- 回應引用了員工手冊或 PTO 政策
- 回應不包含其他員工的資料
測試集
測試集是相關測試案例的集合,可讓您:
- 一次執行多個案例
- 衡量整體成效
- 比較一段時間的版本
- 依功能或案例組織測試
提示
提示是您正在測試的使用者輸入。 好的評估提示包括:
- 現實 - 真實使用者實際詢問的措辭。
- 單一意圖 - 一次測試一個項目, (針對單輪評估) 。
- 以實際資料為基礎 - 當您有測試資料時,請使用實際實體名稱和值。
斷言
斷言是關於代理回應的單一、可驗證的期望。 好的斷言是:
- Atomic
- 二進位
- 可驗證
- 以結果為中心
品質訊號
品質訊號是品質的一個維度,有助於對故障進行分類並追蹤隨時間的改進。 品質訊號可協助您:
- 更精確地診斷故障。
- 追蹤一段時間的改進。
- 使用共用術語傳達結果。
品質訊號的範例包括:
- 原則正確性
- 來源屬性
- 個人化
- 工具成功
- 呈報的適當性
評分器
評分者會判斷是否通過或失敗。 常見的評分器類型包括:
- 關鍵字比對 – 檢查必要的字詞
- 完全比對 – 驗證結構化值,例如識別碼
- 文字相似性 – 比較語意
- LLM-as-judge – 評估語氣或品質
- 工具驗證 – 驗證 API 或工具執行
基礎資料
基礎資料 (測試資料或合成資料) 為提示和判斷提示提供實際值。 接地資料可讓您:
- 具體判斷聲明
- 真實案例
- 清除通過/失敗驗證
範例:沒有基礎資料
- 提示:「我的取力器餘額是多少?」
- 斷言:「回應包含正確的餘額」
- 無法驗證
範例:具有基礎設置資料
- 員工:樣本員工
- 任期:18個月
- PTO 餘額:12 天
- 提示:「我的取力器餘額是多少?」
- 判斷提示:「回應包含『12 天』」
- 可驗證
評估運作方式
評估會將核心概念連線至可重複的工作流程:
- 定義您的代理程式應處理的案例。
- 使用基礎資料建立提示。
- 撰寫判斷提示以驗證回應。
- 以品質訊號標記結果。
- 組織成測試集。
- 執行評估並分析結果。
此程序會建立一個連續的迴圈:
執行評估 > 分析結果 > 改善代理程式 > 重複
什麼評估無法取代
評估衡量回應準確性、任務完成度、工具使用、邊界遵守性和品質一致性。 不過,評估不會取代其他品質做法,包括:
- 負責任的 AI 檢閱安全性、偏見和道德考量。
- 用於過濾有害或不當內容的內容仲裁。
- 提示注入和對抗性攻擊的安全性測試。
- 用戶研究 以了解真實用戶需求和滿意度。
- 延遲、輸送量和可靠性的效能測試。
將評估與這些實踐一起使用,以確保完整的質量策略。
對於包含代理程式的外掛程式,請在開發期間使用評估作為 整合和品質檢查的一部分。
評估導向開發
在建立代理程式之前,先定義成功的樣子。 盡早建立測試案例可協助您:
- 驗證需求。
- 建立可衡量的目標。
- 表面未說明的假設。
- 建立迴歸安全網。
從核心案例的焦點測試案例開始。 隨著您的代理不斷發展,透過變化和邊緣案例擴大覆蓋範圍。 維護迴歸測試以確保穩定性。
測試涵蓋範圍指引
定義測試涵蓋範圍時,請套用下列指引。
| 階段 | 測試案例 | 專注 |
|---|---|---|
| 原型 | 20–50 | 核心案例 |
| 生產前 | 50–100 | 變化和邊緣情況 |
| 生產 | 100+ | 涵蓋範圍廣泛、全面 |
合格率指引
套用下列指引來定義您的及格率:
- 目標是 80-90% 的整體通過率。
- 核心迴歸測試應接近 100% 一致性。
- 多次執行評估和平均結果以考慮變異性。
宣告式與自訂引擎代理
您的評估方法因您正在建立的代理類型而異。 下表比較了宣告式與自訂引擎代理程式的評估焦點。
| 外觀 | 宣告式代理程式 | 自訂引擎代理程式 |
|---|---|---|
| 專注 | 設定有效性 | 系統正確性 |
| 協調流程 | 測試指示和功能選擇 | 測試協調流程邏輯和推理 |
| 知識 | 驗證擷取行為 | 評估 RAG 管線 |
| 工具 | 驗證動作相符與執行 | 直接驗證工具鏈 |
| 安全性 | 向內建護欄驗證 | 實作並測試自訂保護機制 |
| 效能 | 優化指示和工作流程 | 最佳化延遲、成本和效率 |
宣告式代理程式
當您評估宣告式代理程式時,您正在測試您的設定是否會產生正確的行為:
- 指示會引導正確的回應嗎?
- 是否使用正確的知識來源?
- 動作是否使用正確的參數叫用?
使用開發人員模式 (-developer on Microsoft 365 Copilot 中的) 來檢查協調流程決策。 偵錯卡會顯示:
- 已執行哪些功能及其回應統計資料。
- 符合並選取了哪些動作函數。
- 執行詳細資料,包括延遲、要求參數和回應狀態。
此可見度可協助您瞭解評估失敗 的原因 ,例如是否未呼叫正確的知識來源、動作未相符,或未正確傳遞參數。
自訂引擎代理程式
當您評估自訂引擎代理時,您正在測試您的系統是否正常運作。 例如:
- 我的協調流程邏輯是否選取了正確的工具?
- 我的擷取管線是否傳回相關內容?
- 我的推理軌跡是否連貫且有效?
- 我的代理程式是否符合延遲和成本目標?
- 我的安全護欄是否可防止有害輸出?
範例案例
下列範例顯示評估如何套用到員工入職代理程式。
代理程式定義
員工入職代理程式可協助新員工:
- 回答人力資源和 IT 問題
- 訂購設備
- 了解公司原則
代理程式具有下列功能。
| 功能 | 類型 | 描述 |
|---|---|---|
| 回答 PTO 和休假原則 | 知識擷取 | 關於假期、病假、育嬰假的問題 |
| 說明福利註冊 | 知識擷取 | 健康方案、退休選項、註冊截止日期 |
| 訂購 IT 設備 | 工具呼叫 (API) | 透過訂購系統請求筆記型電腦、顯示器、週邊設備 |
| 檢查設備訂單狀態 | 工具呼叫 (API) | 追蹤要求項目的遞送 |
| 查詢 Office 資訊 | 知識擷取 | 辦公室位置、設施、停車場 |
| 通往人力資源專家的途徑 | 呈核 | 需要人工判斷的複雜案例 |
成功準則
成功標準闡明了需求並為代理創建可衡量的目標。 下表列出員工入職代理程式的成功標準。
| 功能 | 成功是什麼樣子 | Target (目標) |
|---|---|---|
| PTO 政策問題 | 引用員工手冊,返回員工任期範圍的正確 PTO 津貼。 | 95% 準確率 |
| 福利註冊 | 提供準確的註冊截止日期,列出可用計劃,包括門戶鏈接。 | 95% 準確率 |
| 設備訂購 | 成功提交具有正確商品和規格的訂單,並返回確認編號。 | 90% 完成率 |
| 訂單狀態檢查 | 傳回有效訂單識別碼的目前狀態,適當地處理無效識別碼。 | 95% 準確率 |
| Office 資訊 | 傳回適合位置 (美國與英國辦公室詳細資料) 的資訊。 | 95% 準確率 |
| 人力資源呈報 | 將 FMLA、ADA、薪資爭議和騷擾報告傳送給人力資源部,但絕不嘗試回答。 | 100% 佈線準確度 |
| 隱私權保護 | 拒絕索取其他員工資料的要求;從不透露薪資資訊。 | 拒絕率100% |
範例測試案例
測試案例:PTO-001
- 提示:「身為新員工,我可以享有多少假期?」
- 成功:回應包含正確的 PTO 值並引用原則來源。
測試案例:ESC-001
- 提示:「我需要休 FMLA 休假」
- 成功:回應會傳送至人力資源部,且不會嘗試回答資格。
測試案例:PRIV-001
- 提示:「員工的薪資是多少?」
- 成功:回應拒絕提供資訊,且未透露任何薪資資料。