您的評估品質取決於提示的品質。 精心設計的提示會準確測試您的意圖——不多也不少。
本文說明如何設計可產生明確且可採取動作結果的評估提示。
有效評估提示的剖析
有效的評估提示有四個共同的特點:
- 單一意圖
- 逼真的措辭
- 以資料為基礎
- 自封式
單一意圖
每個提示都應測試一個使用者目標或問題。 多意圖提示使識別失敗原因變得困難。
| 多目的 (避免) | 單一意圖 (慣用) |
|---|---|
| 我的 PTO 餘額是多少,可以給我訂購筆記型電腦嗎? | 我的取力器餘額是多少? |
| 告訴我關於健康益處以及 401k 比賽。 | 有哪些健康保險計劃可供選擇? |
若要一起測試多項功能,請使用多輪交談評估,而不是將意圖結合到單一提示中。
逼真的措辭
提示應反映使用者的實際溝通方式,包括非正式語言、不完整的句子和不同程度的細節。
| 過於正式 | 真實 |
|---|---|
| 請提供有關員工在受僱第一年的年度帶薪休假分配的資訊。 | 新進員工有多少天假期? |
| 我想提出採購計算設備的請求。 | 我需要訂購膝上型電腦。 |
您可以從下列位置衍生切合實際的提示:
- 生產查詢記錄
- 使用者研究工作階段
- 支援票證
- 日常工作場所交談
以資料為基礎
提示應以資料為依據。 當有基礎資料可用時,請使用特定的實體、值和識別碼。 這種方法使評估可衡量和可驗證。
接地氣提示允許精確的斷言,例如「回應包含 15 天」,而不是像「回應包含正確的數字」這樣的模糊檢查。
沒有基礎資料
提示:「工程師的 PTO 原則是什麼?」
具有基礎資料
基礎數據:
- 員工:馬庫斯·約翰遜
- 部門:工程
- 任期:8個月
- 經理:Lisa Park
- 地點:奧斯汀辦公室
提示:「我在工程小組,我有多少天假期?」
獨立式 (單輪)
針對單輪評估,每個提示都必須包含所有必要的內容。 客服專員不能依賴先前的交談輪次。 下表顯示自封式提示的範例。
| 自封式 | 視內容而定 (避免) |
|---|---|
| PPO 健康計劃涵蓋哪些內容? | 其他健康計劃呢? |
| PPO 健康計劃的員工費用是多少? | 那要花多少錢? |
| 您可以訂購 16 英寸 MacBook Pro 嗎? | 你能改點那個嗎? |
對於跨越多個回合的案例,請使用 多回合交談。
提示變化
使用者不會都以相同的方式詢問相同的問題。 若要測試一般化,請針對每個提示建立三種變化。
標準提示
標準提示明確、完整且明確。 它們充當基準。
- 包含所有必要參數。
- 使用精確的術語。
- 避免歧義。
- 代表理想的查詢。
範例
“根據現行的 PTO 政策,任期少於兩年的員工每年可獲得多少帶薪休假?”
自然語言變體
自然語言變體會反映日常交談的措辭。 自然語言變體:
- 使用隨意的交談語言。
- 可能包含同義字或非正式詞彙。
- 避免使用技術識別碼。
- 保持完整以回答。
範例
“嘿,作為新進員工,我能得到多少假期?”
下表會比較標準提示和自然語言變體。
| 技術 | Canonical | 自然變體 |
|---|---|---|
| 同義字 | 「帶薪休假」 | 「假期」、「休假」、「PTO」 |
| 非正式措辭 | 「我收到多少天」 | “How amount I get” |
| 隱含內容 | 「任期為 <2年的員工」 | 「作為新進員工」 |
| 休閒大小寫 | 正確大小寫 | 小寫,最少標點符號 |
穩健性探查
穩健性探查會評估代理程式處理不完美輸入的能力。 穩健性探頭:
- 包含逼真的拼寫錯誤。
- 包含文法錯誤。
- 使用速記或縮寫。
- 在雜訊下測試意圖辨識。
範例: 「我的 Vacaton Days 權利是什麼」
下表顯示要測試的模式範例。
| 模式 | 範例 |
|---|---|
| 錯字 | 「vacaton」而非「vacation」 |
| 遺漏標點符號 | “Whats” 而非 “What's” |
| 遺漏文字 | “How days get” |
| 縮寫 | “取力器巴爾?” |
| 執行查詢 | 「需要 16 吋膝上型電腦 MacBook Pro」 |
完整提示變化範例
下列範例示範單一案例的所有三種提示類型。
案例:設備訂購
此案例包含下列基礎資料:
- 員工:Katrin Pold
- 部門:產品設計
- 開始日期:2024-01-15
- 設備預算:3,500 美元
- 核准的項目:MacBook Pro (14 吋或 16 吋) 、外接顯示器、鍵盤、滑鼠
提示變化
Canonical
「我是產品設計部門的新員工,從 2024 年 1 月 15 日開始。 我需要訂購一台 16 吋 MacBook Pro 筆記型電腦。 請透過 IT 訂購系統提交此設備請求。」
自然語言
“您好,我剛剛加入產品設計團隊,需要設置我的筆記本電腦。 我可以買 MacBook Pro 嗎? 最好是 16 英寸的。
穩健性探查
“需要訂購 MacBook Pro 16in 才能完成產品設計的新工作”
判斷提示 (適用於所有變化) :
- 回應確認已啟動設備訂單。
- 代理叫用 OrderEquipment 工具。
- 工具呼叫包括「MacBook Pro 16 吋」 (或同等) 。
- 回應包括訂單確認或參考編號。
案例:具有個人化的原則問題
此案例包含下列基礎資料:
- 員工:詹姆斯·賴特
- 地點:英國倫敦辦事處
- 任期:6個月
- 就業類型:全職
提示變化
Canonical
“作為一名在英國倫敦辦事處工作的全職員工,任期為 6 個月,我今年有權享受哪些公共假期?”
自然語言
“我在倫敦辦公室工作——我會在哪些銀行假期下假?”
穩健性探查
“今年英國辦公室假期放假?”
判斷提示 (適用於所有變化) :
- 該回應列出了英國銀行假日 (而不是美國假日) 。
- 回應至少包括:元旦、復活節、聖誕節。
- 回應會參考英國的政策或排程。
- 該回應沒有提及美國假期,例如 7 月 4 日或感恩節。
要避免的模式
避免下列提示模式。
多意圖提示
避免多目的提示。 當您的提示涵蓋多個意圖時,您無法判斷是哪個意圖導致失敗。
- 避免: 我的 PTO 餘額是多少,您能告訴我健康保險選項嗎,我可能也需要一台筆記本電腦?
- 請改用: 分割成個別的提示,或使用多執行緒評估。
結構描述感知提示
避免結構描述感知提示。 架構感知提示無法正常運作,因為使用者不知道內部 API 或工具名稱。
- 避免: 「呼叫員工識別碼 12345 的 GetPTOBalance API」
- 請改用: 「我目前的假期餘額是多少?」
模糊的提示
避免含糊不清的提示。 如果您的提示含糊不清,您就無法定義可衡量的斷言。
- 避免: 「協助我處理人力資源事務」
- 請改用:“如何?加入牙科保險計劃?”
前置提示
暗示預期答案的提示不會測試代理程式的真實推理有效性。
- 避免: “PTO 政策說 15 天,對吧?”
- 請改用: “新員工收到多少天的 PTO 天數?”
非獨立式 (單輪)
避免依賴於先前內容的提示。
- 避免: “另一個選擇呢?”
- 請改用: “HMO 和 PPO 健康計劃有什麼區別?”
從使用者案例產生提示
從真實使用者意圖開始,而不是功能清單。
- 收集代表性使用者問題。
- 依案例 (例如,原則查閱、動作、呈報) 。
- 針對每個案例撰寫標準提示。
- 新增自然語言和健全性變體。
- 具有具體資料的地面提示。
這種方法確保評估反映現實世界的使用情況。
AI 輔助提示擴充 (選擇性)
建立強大的基準之後,使用 AI 來擴大涵蓋範圍。 要求 AI 建議更多變化。 檢閱每個建議的真實性和相關性。 拒絕不自然、結構描述感知或超出範圍的提示。 僅在可提高涵蓋範圍的地方新增提示。
提示涵蓋範圍檢查清單
使用此檢查清單可確保您的提示涵蓋範圍完整。
功能涵蓋範圍
- 每個工具或動作都至少有一個測試案例
- 每個知識領域都有代表
- 已測試向上呈報行為
- 已測試範圍外案例
變化涵蓋範圍
- 標準提示
- 自然語言變體
- 穩健性探查
邊緣情況
- 非常簡短的提示
- 非常長的提示
- 不明確的要求
- 資訊遺失
- 無效或不支援的要求
個人化 (適用)
- 不同的使用者位置
- 不同的任期層級
- 不同的角色或部門