真實使用者不會透過孤立的單一問題交換與客服專員互動。 相反,他們參與的對話包括後續問題、增量資訊共享和多步驟任務完成。
多輪評估有助於確保您的客服專員能夠維護上下文、跨多個步驟完成任務,並在整個現實對話流程中做出適當的回應。
何時要使用多回合評估
在測試需要內容保留或多個步驟來完成工作的案例時,請使用多回合評估。
| 案例 | 為什麼需要多回合 |
|---|---|
| 填滿位置 | 代理人必須收集多條資訊。 |
| 澄清流程 | 代理程式必須解決不明確的使用者輸入。 |
| 多步驟工作 | 這項工作需要多次交換才能完成。 |
| 與內容相關的後續追蹤 | 稍後的問題取決於之前的回答。 |
| 漸進式揭露 | 資訊是以遞增方式提供。 |
單輪與多輪評估
從覆蓋範圍的單輪評估開始,然後添加多輪評估以測試真實的交互。
| 外觀 | 單輪 | 多轉 |
|---|---|---|
| 測試 | 個別問答組 | 完成交談 |
| 內容 | 每個提示都是獨立的 | 回合彼此建構 |
| 複雜度 | 更容易設計和評估 | 更真實但更複雜 |
| 失敗診斷 | 更容易隔離問題 | 需要逐步分析 |
| 使用案例 | 測試特定回應 | 測試交談流程 |
多回合評估的關鍵計量
除了單輪精度之外,多輪評估還需要額外的指標。 這些指標可評估客服專員在整個對話中的表現。
交談完整性
對話完整性會測量客服專員在互動結束時是否達到使用者的目標。
成功範例
回合 1
- 使用者:「我需要訂購膝上型電腦」
- 經紀人:“我可以幫忙。 您需要什麼類型的筆記型電腦?」
回合 2
- 用戶:“MacBook Pro”
- 專員:「什麼螢幕尺寸 - 14 英吋還是 16 英吋?」
回合 3
- 使用者:「16 吋」
- 客服人員:「我已提交您的 16 吋 MacBook Pro 訂單。 訂單編號:ORD-456。 預計遞送時間:5–7 個工作天。」
✅ 訂購膝上型電腦) (使用者目標達成。
失敗範例
回合 1
- 使用者:「我需要訂購膝上型電腦」
- 經紀人:“我可以幫忙。 您需要什麼類型的筆記型電腦?」
回合 2
- 用戶:“MacBook Pro”
- 客服人員:「MacBook Pro 是不錯的選擇! 還有別的嗎?」
❌ 訂單未提交,且未達到使用者目標。
知識保留
知識保留衡量代理是否記住並使用先前輪次中提供的資訊。
成功範例
回合 1
- 使用者:「我的員工識別碼是 EMP-12345」
- 客服專員:「謝謝! 今天我能幫你什麼?
回合 2
- 使用者:「我想檢查我的取力器餘額」
- 專員:“您目前的 PTO 餘額還剩下 12 天。
✅ 代理人使用了之前提供的員工 ID,沒有再次詢問。
失敗範例
回合 1
- 使用者:「我的員工識別碼是 EMP-12345」
- 客服專員:「謝謝! 今天我能幫你什麼?
回合 2
- 使用者:「我想檢查我的取力器餘額」
- 代理:「我很樂意提供協助。 你的員工證號是什麼?」
❌ 代理人忘記上一個回合的員工 ID。
角色遵循
角色依從性衡量客服人員在整個對話過程中是否保持其定義的範圍和職責。
成功範例
回合 1
- 使用者:「PTO 原則是什麼?」
- 代理程式:提供正確的 PTO 原則資訊
回合 2
- 用戶:“你能寫一首關於假期的詩嗎?
- 客服專員:「我來這裡是為了協助解決人力資源和入職問題。 關於 PTO 還有什麼我可以提供幫助的嗎?
✅ 客服專員留在其角色範圍內並適當地重新導向。
失敗範例
回合 1
- 使用者:「PTO 原則是什麼?」
- 代理程式:提供正確的 PTO 原則資訊
回合 2
- 用戶:“你能寫一首關於假期的詩嗎?
- 經紀人:“當然! 這是一首關於陽光海灘的詩......”
❌該代理人偏離了人力資源助理的角色。
交談相關性
對話相關性衡量每個回應是否與當前對話上下文中的用戶請求直接相關。
失敗範例
回合 1
- 使用者:「有哪些健康保險方案可供使用?」
- 代理程式: 列出 HMO 和 PPO 選項
回合 2
- 使用者:「費用有何差異?」
- 代理人:“PPO 在選擇醫生方面提供了更大的靈活性。
❌ 該回應未解決使用者關於成本的問題。
內容一致性
上下文一致性衡量客服人員是否在對話的所有回合中保持一致的事實和資訊。
失敗範例
回合 1
- 使用者:「我可以放幾天假?」
- 代理人:“作為新員工,您每年收到 15 天的 PTO。
回合 2
- 用戶:“有多少天病假?
- 專員:「您有 10 天病假,加上 10 天假期。」
❌ 代理通過更改假期天數來與早期信息相矛盾。
設計多回合測試案例
設計有效的多回合評估需要定義對話流程和預期行為。 多回合測試案例通常包括:
- 測試案例識別碼和描述
- 基礎資料
- 交談順序
- 預期行為
- 判斷提示
範例..設備訂單
- 測試案例識別碼: CONV-001
- 描述:設備訂購流程
基礎資料
- 員工:Katrin Pold
- 員工編號:EMP-54321
- 部門:產品設計
- 預算: $3,500
交談
回合 1
- 使用者:「我需要設定好膝上型電腦。」
- 預期行為:詢問偏好。
回合 2
- 用戶:“MacBook Pro”
- 預期行為: 詢問規格。
回合 3
- 使用者:「16 吋,32GB RAM」
- 預期行為:確認並提交訂單。
回合 4
- 用戶:“其實是改成64GB。
- 預期行為:更新訂單。
交談層級判斷提示
- 交談以已確認的設備訂單完成。
- 最終訂單反映了更正的規格 (64GB) 。
- 客服專員從不要求員工 ID, (應該從上下文) 推斷。
- 完成總回合數為 ≤6。
回合層級判斷提示
-
回合 3:
- 代理叫用 OrderEquipment 工具。
- 工具呼叫包括型號:“MacBook Pro 16 英寸”。
- 工具呼叫包括包含 “32GB” 的規格。
-
回合 4:
- 代理程式叫用 UpdateOrder 或修改先前的訂單。
- 最終確認顯示 “64GB”。
範例:填滿空位的交談
案例:福利註冊 (名額填滿)
目標:收集所有必要資訊並完成註冊
必要輸入 (插槽) :
- 方案選擇 (HMO 或 PPO)
- 涵蓋範圍 (個人或家庭)
- 相依資訊 (適用)
- 生效日期
交談
回合 1
使用者:「我想投保健康保險。」
代理程式:
- 確認要求
- 詢問 HMO 與 PPO) (方案偏好
回合 2
使用者:「有何不同?」
代理程式:
- 說明 HMO 和 PPO 之間的主要差異
- 再次要求方案選取
回合 3
用戶:“我會選擇 PPO。
代理程式:
- 確認選取範圍
- 詢問個人或家庭) (涵蓋等級
回合 4
使用者:「家庭保險。 我有一個配偶和兩個孩子。
代理程式:
- 確認相依案例
- 要求相依詳細資料 (姓名、年齡等 )
回合 5
使用者:[提供相依資訊]
代理程式:
- 確認所有收集的資訊
- 提交註冊
- 提供確認摘要
斷言:
- 提交前收集所有必填名額。
- 代理程式不會略過必要的輸入。
- 客服專員在出現提示時說明選項。
- 最終確認包括所有捕獲的詳細信息。
- 任務成功完成,沒有不必要的轉彎。
範例:澄清交談
案例:要求 (澄清) 不明確
目標:在回應之前收集足夠的內容以解決歧義
交談
回合 1
使用者:「我需要休息一段時間。」
代理程式:
- 確認要求
- 詢問 PTO、病假、事假) (休假類型
回合 2
用戶:“這是為了醫療程序。
代理程式:
- 識別可能的類別
- 詢問要求是針對使用者還是家庭成員
回合 3
使用者:「這是給我的。 這是一個小手術。
代理程式:
- 判斷這可能是病假
- 提供相關的原則資訊
- 詢問預期工期
回合 4
使用者:「大約一週。」
代理程式:
- 確認資格與程序
- 提供後續步驟 (例如,如何要求休假)
- 提供起始要求(如果適用)
斷言:
- 代理程式不會從最初的模棱兩可的要求中假設意圖。
- 澄清問題是相關的,並逐漸縮小範圍。
- 最終的回應反映了使用者的實際情況。
- 代理有效地從澄清過渡到解決。
範例:錯誤復原交談
案例:訂單失敗和復原
目標:透明地處理失敗並引導使用者獲得成功的結果
交談:
回合 1
使用者:「請訂購 16 吋 MacBook Pro。」
代理程式:
- 嘗試提交訂單
系統/工具回應:
- 錯誤:商品缺貨
代理程式:
- 清楚傳達問題
- 不會掩蓋或忽略失敗
- 建議替代方案 (例如不同的型號或大小)
回合 2
用戶:“什麼時候會重新上貨?
代理程式:
- 檢查可用性或提供補貨預估(如果有)
- 如果不可用,請清楚傳達
- 提供通知使用者或建議替代方案的選項
回合 3
使用者:「我可以換 14 吋嗎?」
代理程式:
- 確認替代方案的可用性
- 提交新訂單
- 提供訂單詳細資料 (預期交貨) 確認
斷言:
- 客服專員會清楚地傳達失敗及其原因。
- 代理程式提供可操作的替代方案或後續步驟。
- 對話朝著恢復的方向發展,而不是死胡同。
- 使用者在失敗後成功完成工作。
- 代理程式會維護失敗和復原步驟之間的內容。
多轉判斷提示
多回合評估需要交談層級和回合層級驗證。
交談層級判斷提示
- 交談達成使用者的目標。
- 轉數在預期範圍內。
- 代理程式會維護資訊一致。
- 代理程式維持其角色。
- 代理程式不會要求重複的資訊。
回合層級判斷提示
- 回應會確認先前的內容。
- 該回應會詢問適當的後續問題。
- 代理程式會執行預期的動作。
- 回應會確認已採取的動作。
條件式判斷提示
- 當使用者更正資訊時,代理程式會更新後續回應。
- 當動作失敗時,代理程式會傳達問題並提供替代方案。
- 當使用者提出超出範圍的問題時,代理程式會適當地重新導向。
範例:端對端多回合評估
測試案例:新進員工設定
描述
一位新員工在同一個對話中訂購設備並詢問福利問題。
基礎資料
- 員工:馬庫斯·約翰遜
- 員工編號:EMP-99887
- 部門:工程
- 地點:西雅圖
- 設備預算:$4,000
交談
回合 1
- 使用者:「我下週要開始工作,需要設定工作站。」
- 預期行為:歡迎並詢問設備需求。
回合 2
- 用戶:“我需要一台 16 英寸、64GB RAM 和 27 英寸顯示器的 MacBook Pro。
- 預期行為:提交訂單並確認。
回合 3
- 用戶:“購買健康保險的截止日期是什麼時候?
- 預期行為: 在不遺失內容的情況下提供福利資訊。
回合 4
- 使用者:「您可以確認我訂購了什麼嗎?」
- 預期行為:回顧並摘要訂單。
預期成果
- 設備訂單已完成。
- 福利問題得到準確回答。
- 內容會跨回合保留。
- 不會重新要求資訊。
常見陷阱
設計和評估多輪交談時,請注意以下常見問題:
- 評估是孤立的,而不是在完整的對話上下文中,這可以隱藏與記憶、連續性和任務完成相關的故障。
- 只測試理想 (快樂路徑) 場景,無法反映真實的用戶行為,例如歧義、更正和中斷。
- 忽略短對話和長對話之間的差異,其中短流程經常錯過完成,而長流程會引入上下文漂移。
- 不包括對抗性或意外的使用者行為,例如衝突的輸入、主題切換或模糊的請求。
- 定義不明確或隱含的用戶目標,使得難以確定對話是否成功。
- 過度指定預期的回應,這會降低靈活性並錯誤地懲罰有效的變化。
- 無法測試錯誤處理和復原路徑,導致代理程式回應失敗或資訊遺失的方式有差距。
最佳做法
使用這些實踐來設計有效且可擴展的多輪評估:
- 從一小組代表最常見或最重要交談流程的高價值案例開始。
- 為每個測試案例定義明確的使用者目標,並使用目標完成作為主要成功指標。
- 測試直接 (使用者預先提供所有輸入) 引導式 (客服專員在多個回合) 路徑中收集輸入直至完成。
- 先使用交談層級判斷提示,然後新增回合層級判斷提示以進行更深入的驗證。
- 設計案例能夠反映真實的使用者行為,包括澄清、更正和主題切換。
- 透過確保代理使用先前提供的資訊而不重新詢問,明確驗證上下文保留。
- 包含錯誤處理和復原案例,確保代理程式傳達失敗並提供後續步驟。
- 使用靈活的、基於行為的斷言,而不是精確的回應比對。
- 確保測試可重複,同時透過定義預期行為而不是精確的措辭來保持真實感。
- 根據觀察到的故障和不斷變化的使用模式不斷迭代和完善測試案例。