設計評估提示

您的評估品質取決於提示的品質。 精心設計的提示會準確測試您的意圖——不多也不少。

本文說明如何設計可產生明確且可採取動作結果的評估提示。

有效評估提示的剖析

有效的評估提示有四個共同的特點:

  • 單一意圖
  • 逼真的措辭
  • 以資料為基礎
  • 自封式

單一意圖

每個提示都應測試一個使用者目標或問題。 多意圖提示使識別失敗原因變得困難。

多目的 (避免) 單一意圖 (慣用)
我的 PTO 餘額是多少,可以給我訂購筆記型電腦嗎? 我的取力器餘額是多少?
告訴我關於健康益處以及 401k 比賽。 有哪些健康保險計劃可供選擇?

若要一起測試多項功能,請使用多輪交談評估,而不是將意圖結合到單一提示中。

逼真的措辭

提示應反映使用者的實際溝通方式,包括非正式語言、不完整的句子和不同程度的細節。

過於正式 真實
請提供有關員工在受僱第一年的年度帶薪休假分配的資訊。 新進員工有多少天假期?
我想提出採購計算設備的請求。 我需要訂購膝上型電腦。

您可以從下列位置衍生切合實際的提示:

  • 生產查詢記錄
  • 使用者研究工作階段
  • 支援票證
  • 日常工作場所交談

以資料為基礎

提示應以資料為依據。 當有基礎資料可用時,請使用特定的實體、值和識別碼。 這種方法使評估可衡量和可驗證。

接地氣提示允許精確的斷言,例如「回應包含 15 天」,而不是像「回應包含正確的數字」這樣的模糊檢查。

沒有基礎資料

提示:「工程師的 PTO 原則是什麼?」

具有基礎資料

基礎數據:

  • 員工:馬庫斯·約翰遜
  • 部門:工程
  • 任期:8個月
  • 經理:Lisa Park
  • 地點:奧斯汀辦公室

提示:「我在工程小組,我有多少天假期?」

獨立式 (單輪)

針對單輪評估,每個提示都必須包含所有必要的內容。 客服專員不能依賴先前的交談輪次。 下表顯示自封式提示的範例。

自封式 視內容而定 (避免)
PPO 健康計劃涵蓋哪些內容? 其他健康計劃呢?
PPO 健康計劃的員工費用是多少? 那要花多少錢?
您可以訂購 16 英寸 MacBook Pro 嗎? 你能改點那個嗎?

對於跨越多個回合的案例,請使用 多回合交談。

提示變化

使用者不會都以相同的方式詢問相同的問題。 若要測試一般化,請針對每個提示建立三種變化。

標準提示

標準提示明確、完整且明確。 它們充當基準。

  • 包含所有必要參數。
  • 使用精確的術語。
  • 避免歧義。
  • 代表理想的查詢。

範例

“根據現行的 PTO 政策,任期少於兩年的員工每年可獲得多少帶薪休假?”

自然語言變體

自然語言變體會反映日常交談的措辭。 自然語言變體:

  • 使用隨意的交談語言。
  • 可能包含同義字或非正式詞彙。
  • 避免使用技術識別碼。
  • 保持完整以回答。

範例

“嘿,作為新進員工,我能得到多少假期?”

下表會比較標準提示和自然語言變體。

技術 Canonical 自然變體
同義字 「帶薪休假」 「假期」、「休假」、「PTO」
非正式措辭 「我收到多少天」 “How amount I get”
隱含內容 「任期為 <2年的員工」 「作為新進員工」
休閒大小寫 正確大小寫 小寫,最少標點符號

穩健性探查

穩健性探查會評估代理程式處理不完美輸入的能力。 穩健性探頭:

  • 包含逼真的拼寫錯誤。
  • 包含文法錯誤。
  • 使用速記或縮寫。
  • 在雜訊下測試意圖辨識。

範例: 「我的 Vacaton Days 權利是什麼」

下表顯示要測試的模式範例。

模式 範例
錯字 「vacaton」而非「vacation」
遺漏標點符號 “Whats” 而非 “What's”
遺漏文字 “How days get”
縮寫 “取力器巴爾?”
執行查詢 「需要 16 吋膝上型電腦 MacBook Pro」

完整提示變化範例

下列範例示範單一案例的所有三種提示類型。

案例:設備訂購

此案例包含下列基礎資料:

  • 員工:Katrin Pold
  • 部門:產品設計
  • 開始日期:2024-01-15
  • 設備預算:3,500 美元
  • 核准的項目:MacBook Pro (14 吋或 16 吋) 、外接顯示器、鍵盤、滑鼠

提示變化

Canonical

「我是產品設計部門的新員工,從 2024 年 1 月 15 日開始。 我需要訂購一台 16 吋 MacBook Pro 筆記型電腦。 請透過 IT 訂購系統提交此設備請求。」

自然語言

“您好,我剛剛加入產品設計團隊,需要設置我的筆記本電腦。 我可以買 MacBook Pro 嗎? 最好是 16 英寸的。

穩健性探查

“需要訂購 MacBook Pro 16in 才能完成產品設計的新工作”

判斷提示 (適用於所有變化) :

  • 回應確認已啟動設備訂單。
  • 代理叫用 OrderEquipment 工具。
  • 工具呼叫包括「MacBook Pro 16 吋」 (或同等) 。
  • 回應包括訂單確認或參考編號。

案例:具有個人化的原則問題

此案例包含下列基礎資料:

  • 員工:詹姆斯·賴特
  • 地點:英國倫敦辦事處
  • 任期:6個月
  • 就業類型:全職

提示變化

Canonical

“作為一名在英國倫敦辦事處工作的全職員工,任期為 6 個月,我今年有權享受哪些公共假期?”

自然語言

“我在倫敦辦公室工作——我會在哪些銀行假期下假?”

穩健性探查

“今年英國辦公室假期放假?”

判斷提示 (適用於所有變化) :

  • 該回應列出了英國銀行假日 (而不是美國假日) 。
  • 回應至少包括:元旦、復活節、聖誕節。
  • 回應會參考英國的政策或排程。
  • 該回應沒有提及美國假期,例如 7 月 4 日或感恩節。

要避免的模式

避免下列提示模式。

多意圖提示

避免多目的提示。 當您的提示涵蓋多個意圖時,您無法判斷是哪個意圖導致失敗。

  • 避免: 我的 PTO 餘額是多少,您能告訴我健康保險選項嗎,我可能也需要一台筆記本電腦?
  • 請改用: 分割成個別的提示,或使用多執行緒評估。

結構描述感知提示

避免結構描述感知提示。 架構感知提示無法正常運作,因為使用者不知道內部 API 或工具名稱。

  • 避免: 「呼叫員工識別碼 12345 的 GetPTOBalance API」
  • 請改用: 「我目前的假期餘額是多少?」

模糊的提示

避免含糊不清的提示。 如果您的提示含糊不清,您就無法定義可衡量的斷言。

  • 避免: 「協助我處理人力資源事務」
  • 請改用:“如何?加入牙科保險計劃?”

前置提示

暗示預期答案的提示不會測試代理程式的真實推理有效性。

  • 避免: “PTO 政策說 15 天,對吧?”
  • 請改用: “新員工收到多少天的 PTO 天數?”

非獨立式 (單輪)

避免依賴於先前內容的提示。

  • 避免: “另一個選擇呢?”
  • 請改用: “HMO 和 PPO 健康計劃有什麼區別?”

從使用者案例產生提示

從真實使用者意圖開始,而不是功能清單。

  • 收集代表性使用者問題。
  • 依案例 (例如,原則查閱、動作、呈報) 。
  • 針對每個案例撰寫標準提示。
  • 新增自然語言和健全性變體。
  • 具有具體資料的地面提示。

這種方法確保評估反映現實世界的使用情況。

AI 輔助提示擴充 (選擇性)

建立強大的基準之後,使用 AI 來擴大涵蓋範圍。 要求 AI 建議更多變化。 檢閱每個建議的真實性和相關性。 拒絕不自然、結構描述感知或超出範圍的提示。 僅在可提高涵蓋範圍的地方新增提示。

提示涵蓋範圍檢查清單

使用此檢查清單可確保您的提示涵蓋範圍完整。

功能涵蓋範圍

  • 每個工具或動作都至少有一個測試案例
  • 每個知識領域都有代表
  • 已測試向上呈報行為
  • 已測試範圍外案例

變化涵蓋範圍

  • 標準提示
  • 自然語言變體
  • 穩健性探查

邊緣情況

  • 非常簡短的提示
  • 非常長的提示
  • 不明確的要求
  • 資訊遺失
  • 無效或不支援的要求

個人化 (適用)

  • 不同的使用者位置
  • 不同的任期層級
  • 不同的角色或部門

後續步驟