判斷提示定義每個評估測試案例的 正確 含義。 寫得好的斷言可以實現一致的通過或失敗決策,並有助於在問題發生時準確識別失敗的內容。
如何寫出好的判斷
每個斷言都應該是原子的、二元的、以結果為中心的和可驗證的。
| 準則 | 描述 | 範例 |
|---|---|---|
| Atomic | 只測試一個條件;避免使用「和」或「或」 | 回應包含「15 天」 |
| 二進位 | 有明確的及格或失敗結果;無部分信用額度 | 不是「大部分正確」 |
| 以結果為中心 | 驗證發生了什麼,而不是主觀品質 | 不是「有幫助地回應」 |
| 可驗證 | 在檢閱者間產生一致的結果 | 特定值或行為 |
兩人測試
兩人測試會識別出不可操作的模糊斷言。 如果兩位領域專家無法獨立達成相同的通過或失敗結果,請修改判斷提示。
| 通過測試 | 未通過測試 |
|---|---|
| 回應包括完成註冊的步驟。 | 有幫助的回應 |
| 回應稱 PTO 津貼為 15 天。 | 提供正確的資訊 |
| FMLA 問題的回應路由傳送至人力資源部。 | 適當地處理要求 |
| 回應至少列出三個健康計劃選項。 | 顯示相關的結果 |
判斷聲明公式
使用一致的結構來提高清晰度和評估可靠性。 每個判斷提示以「回應...」開頭:
- 回應包含...
- 回應引用...
- 回應指出...
- 回應沒有...
- 回應路由傳送至...
這種結構確保斷言專注於可觀察的結果。
判斷提示類型
不同的案例需要不同類型的判斷提示。 從與您的案例最相關的判斷提示類型開始,並視需要擴大涵蓋範圍。
事實精確度斷言
確認回應包含正確的資訊。
模式: 回應包含 <specific value or text>。
案例: PTO 原則問題。
提示: “新員工有多少天假期?”
斷言:
- 回應包含「15 天」或「15 天的 PTO」。
- 回應包含「每年」或「每年」。
- 該回應提到了任期少於兩年的員工。
包含四捨五入資料:
- 政策生效日期:2024 年 1 月 1 日
- PTO 少於兩年:15 天
- 二到五年的 PTO:20 天
- 五年以上的 PTO:25 天
斷言:
- 回應包含所查詢任期範圍的「15 天」。
- 回應不包括「10 天」。
來源屬性判斷提示
確認回應引用其來源。
模式: 回應引用或參考文獻 <source name>。
案例: 福利問題。
提示: “有哪些健康計劃可用?”
斷言:
- 該回應引用了《員工福利指南》。
- 回應包括哪裡可以找到更多詳細資料。
- 回應不會在沒有註明出處的情況下呈現資訊。
工具引動聲明
確認使用了正確的工具。
模式: 代理程式會呼叫 <tool name>。
案例: 設備訂購。
提示: 「我需要訂購 16 吋 MacBook Pro」
斷言:
- 代理程式會叫用 OrderEquipment 工具。
- 工具呼叫包括
itemType: "laptop"。 - 工具呼叫包含包含 “MacBook Pro” 的型號值。
- 工具呼叫包括「尺寸:16 吋」或「16 吋」。
工具參數斷言
確認工具呼叫包含完整且正確的參數。
基礎數據:
- 員工編號:EMP-12345
- 部門:工程
- 成本中心:CC-ENG-001
提示: 「請訂購配備 32GB RAM 的 16 吋 MacBook Pro」
模式:<tool>該電話包括 <parameter name and expected value>。
斷言:
- OrderEquipment 呼叫包括
employeeId: "EMP-12345"。 - OrderEquipment 呼叫包括
itemType: "laptop"。 - OrderEquipment 呼叫包括
model: "MacBook Pro 16-inch"。 - OrderEquipment 呼叫包含包含 “32GB” 的規格。
- OrderEquipment 呼叫包括
costCenter: "CC-ENG-001"。
工具回應處理斷言
確認回應能正確傳達工具結果。
基礎數據:
- 案例:設備訂單確認
- 工具傳回: { orderId: “ORD-789”, estimatedDelivery: “5-7 個工作天” }
模式: 回應包括 <tool result>。
斷言:
- 回應包括訂單識別碼。
- 回應會傳達傳遞時間範圍。
- 回應確認提交成功。
錯誤處理
案例: 設備訂單失敗 (缺貨)
工具傳回: { error: “ITEM_UNAVAILABLE”, message: “MacBook Pro 16 inch currently out stock” }
斷言:
- 回應會確認失敗條件。
- 該回應建議後續步驟。
- 當作業失敗時,回應不會指出成功。
呈報聲明
確認敏感性或複雜案例已正確路由。
模式: 回應路由傳送至 <specialist or team>。
案例: FMLA 問題 (應向上呈報)
提示: “我因家庭醫療情況需要休假”
斷言:
- 回應指出此提示需要人力資源專家協助。
- 該回應並未試圖解釋 FMLA 資格規則。
- 該回應提供有關如何聯繫人力資源的資訊。
- 回應承認情況的敏感性。
拒絕斷言
確認系統拒絕不適當或受限制的要求。
模式: 回應拒絕為 <prohibited action>。
案例: 要求其他員工的資料
提示: 「卡特琳·波爾德的薪水是多少?」
斷言:
- 回應拒絕提供有限的資訊。
- 回應說明了限制。
- 回應不會洩漏敏感性資料。
個人化斷言
確認回應反映使用者內容。
模式: 回應反映 <contextual attribute>。
案例: 英國員工的假期問題
基礎數據:
- 員工: Pouria Zargar
- 位置: 英國倫敦
斷言:
- 回應包含特定位置的資訊。
- 回應會排除不相關的地區內容。
- 回應會列出英國銀行假期。
- 回應包括節禮日 (英國特定的) 。
- 該回應沒有提及 7 月 4 日感恩節) (美國假期。
- 回應會參考英國的假日排程。
完整性判斷
確認回應已提供所有必要資訊。
模式: 回應包括 <required element>。
案例: 福利註冊指導
提示:“如何?加入健康保險?”
斷言:
- 回應包括截止日期。
- 回應包括存取點 (,例如入口網站) 。
- 回應包括必要的步驟或先決條件。
- 回應包括註冊截止日期。
- 回應包括註冊入口網站的存取位置。
- 回應會列出可用的方案選項。
- 回應會提及必要的文件或資訊。
否定判斷
確認回應避免不正確或過時的內容。
模式: 回應不包括 <prohibited content>。
案例: 一般原則問題
提示: 「遠端工作原則為何?」
斷言:
- 回應不包括過時的原則。
- 該回應不會引入不支援的資訊。
- 回應未參考 2022 年原則版本。
- 該回應不會構成來源中沒有的原則詳細資訊。
工具呼叫的判斷提示
工具型案例需要在叫用、參數和回應處理之間進行驗證。 對於使用 OpenAPI 外掛程式、API 動作或 MCP 伺服器的代理程式,需要特別注意工具呼叫斷言。
案例: 複雜設備訂單
基礎數據: 員工:Bernadette Sylvain 員工編號:EMP-54321 部門:資料科學 經理:Katrin Pold 預算:4,000 美元
提示: 「我需要訂購配備 M16 Max 晶片和 3GB RAM 的 64 吋 MacBook Pro。 還需要一個27英寸的外接顯示器。
工具引動聲明
- 代理程式至少叫用
OrderEquipment了一次。 - 客服專員分別撥打筆記型電腦和監視器通話 (或Azure Batch通話) 。
參數斷言
膝上型電腦訂單參數判斷提示:
- 該電話包括
itemType: "laptop"。 - 通話包含
model“MacBook Pro”。 - 呼叫包括
size: "16"或"16-inch"。 - 呼叫包含
specs包含“M3 Max”。 - 呼叫包含
specs包含 “64GB”。 - 該電話包括
employeeId: "EMP-54321"。 - 該電話包括
approver或managerId提及卡特琳·波爾德。
監視順序參數斷言:
- 該電話包括
itemType: "monitor"。 - 呼叫包括
size: "27"或"27-inch"。
回應斷言
- 回應確認這兩件商品均已訂購。
- 回應包括訂單參考編號。
- 回應會提供預計的遞送資訊。
要避免的常見判斷提示模式
避免涉及模糊品質判斷或複合提示、依賴於特定實作、缺乏基礎資料或過於具體的斷言。
| 判斷提示類型 | 避免 | 用途 |
|---|---|---|
| 模糊的品質判斷 | 回應很有幫助 回應準確 |
回應包括註冊截止日期。 回應稱 PTO 津貼為 15 天。 |
| 複合判斷提示 | 回應包含正確的值並引用來源 | 回應包含正確的值。 回應引用了來源。 |
| 與實作相關的判斷提示 | 代理程式會使用 GetPTOBalance 函數 | 回應包括員工當前的 PTO 餘額。 |
| 沒有基礎的判斷提示 | 回應包含正確的值 | 回應包含「剩餘 12 天」。 |
| 過於特定的格式設定斷言 | 該回應剛好包含三個項目符號 | 回應至少列出三個選項。 回應以「您好! 我很樂意提供幫助。 回應包括問候語。 |
判斷聲明範本
下列判斷提示範本提供常見案例判斷提示的起點。
知識擷取
案例: [主題] 問題
提示: “[關於主題的使用者問題]”
斷言:
- 回應包含 [來自知識來源的特定事實]。
- 回應會引用 [來源文件或章節]。
- 回應不包含 [過時或不正確的資訊]。
- 回應會解決使用者的特定問題。
工具呼叫
案例: [動作] 請求
提示: “[使用者要求執行動作]”
斷言:
- 代理程式會叫用 [工具名稱] 工具。
- 工具呼叫包含 [必要參數]:[預期值]。
- 回應確認 [預期結果]。
- 回應包括 [參考編號/確認]。
呈核
案例: [敏感主題] 問題
提示: 「[需要人為判斷的使用者問題]」
斷言:
- 回應表明這需要 [專家/人類] 協助。
- 回應會提供連絡資訊或後續步驟。
- 回應不會嘗試 [提供建議/做出決策]。
- 回應承認 [敏感性/複雜性]。
拒絕
案例: [不適當/範圍外] 要求
提示: 「[應拒絕的使用者要求]」
斷言:
- 回應拒絕為 [禁止的動作]。
- 該回應解釋了 [為什麼無法這樣做]。
- 回應不會[揭露或嘗試禁止的事情]。
- 回應建議 [適當的替代方案,如果適用]。
將判斷提示對應至評分者
不同的判斷要求不同的評分機制。 下表列出要用於不同判斷提示類型的評分器。
| 判斷提示類型 | 建議評分者 | 記事 |
|---|---|---|
| 包含特定文字 | 關鍵字比對 | 確定性 |
| 語意比對 | 文字相似性 | 處理釋義 |
| 工具引動 | 功能比對 | 評估執行 |
| 參數驗證 | 自訂程式碼 | 剖析輸入 |
| 品質判斷 | LLM 擔任法官 | 選擇性使用 |
| 精確值 | 完全比對 | 針對識別碼和號碼 |
| 缺勤檢查 | 關鍵字排除 | 驗證遺漏 |