衍生 Copilot 代理程式評估的品質訊號

品質訊號提供了一種結構化的方式來了解客服專員回應成功或失敗 的原因 。 它們幫助團隊將評估結果分組為有意義的類別、確定改進的優先級並追蹤一段時間內的進度。

本文說明如何從評估結果衍生品質訊號,以診斷問題、識別模式,以及改善 Copilot 代理程式效能。

藉由使用品質訊號,團隊可以:

  • 識別重複的失敗模式
  • 根據影響設定改進優先順序
  • 追蹤反覆運算的效能
  • 將結果清楚傳達給專案關係人

什麼是品質訊號?

品質訊號是代表評估結果模式的類別。 它們來自觀察到的行為,而不是預先定義的規則。

判斷聲明和品質訊號在評估工作流程中一起運作:

  • 判斷提示決定 回應通過或失敗。
  • 品質訊號將 斷言結果分組為更高層級的模式。
外觀 判斷提示 品質訊號
等級 具體且具體 抽象和分類
用途 判斷通過或失敗 診斷模式
Quantity 每個測試案例有許多 每個代理程式很少
來源 測試前定義 衍生自結果
範例 包含「15 天」 原則正確性

定義判斷提示之後,請從判斷提示結果衍生品質訊號,並使用這些訊號來追蹤跨案例的效能。

常見品質訊號

評估 Copilot 代理程式時,請使用下列常見品質訊號:

  • 政策準確性 — 衡量回應是否與權威知識來源一致
  • 來源歸因 — 衡量回應是否清楚地識別資訊來源
  • 個人化 – 測量回應是否使用相關的使用者內容
  • 工具準確度 – 測量工具呼叫是否正確執行
  • 工具回應處理 — 測量代理是否正確解譯工具輸出
  • 呈報的適當性 — 衡量請求是否在需要時路由到人工支援
  • 隱私權保護 – 衡量敏感性資訊是否受到保護
  • 動作啟用 — 衡量回應是否提供明確的後續步驟

訊號評估與常見原因

下表列出每個品質訊號的指標。

品質訊號 通過指標 失敗指標 常見原因
原則正確性 正確的值和日期

正確的原則詳細資料

與目前的文件一致
過時或不正確的值

相互衝突或捏造的詳細資料
過期或重複的文件

不正確的擷取結果

模型幻覺
來源屬性 特定文件或章節的參照

清除屬性陳述式
未提供來源

模糊或一般參照
缺少來源中繼資料

指示不強調出處
個人化 地區特定或角色特定回應

具上下文感知功能的建議
忽略使用者內容的一般回應

不正確的地區或角色型資訊
代理程式無法使用使用者內容

未依客群區隔的知識來源
刀具精度 正確的工具選擇

有效的參數和識別碼

已填入所有必填欄位
參數遺失或不正確

無效的工具輸入
不明確的 API 規格

不正確的參數對應
工具回應處理 工具結果的準確傳達

正確處理成功和錯誤狀態
不正確的成功宣告

忽略或誤解的工具錯誤
缺少錯誤處理指導

工具回應的誤解
呈報的適當性 敏感或複雜問題已正確路由

遵守呈報規則
代理程式嘗試處理不支援的案例

無法向上呈報高風險要求
未定義的升級準則

過於寬鬆的指示
隱私權保護 拒絕揭露受限制的資料

回應僅限於授權資訊
敏感性資料的揭露或推斷

公開受保護資訊的回應
弱式存取控制

隱私權指導方針不足
動作啟用 具體指示

連結、識別碼或連絡人詳細資料
模糊或不完整的指導方針

缺少可採取動作的步驟
知識來源中缺少程序資訊

過度摘要回應

如何衍生品質訊號

品質訊號源自於評估結果中的模式,而不是預先定義的清單。 若要衍生品質訊號:

  • 執行一組初始評估測試案例。
  • 檢閱所有測試案例中失敗的回應。
  • 識別失敗中重複出現的模式。
  • 將每個模式定義為品質訊號。
  • 使用對應的訊號標記相關的判斷提示。
  • 依訊號追蹤通過率。

品質訊號的實際應用

下列範例顯示為員工入職代理定義的品質訊號。

觀察 已識別的模式 品質訊號
傳回正確的 PTO 值 精準的知識擷取 原則正確性
回應中引用的來源 包含出處 來源屬性
傳回不正確的地區資訊 未使用內容 個人化
使用不正確的參數叫用的工具 執行錯誤 刀具精度
請求已適當地路由傳送至 HR 正確呈報 呈報的適當性
敏感性資料幾乎暴露 隱私邊界風險 隱私權保護
回應包括後續步驟 可採取動作的回應 動作啟用

以下是品質訊號的具體衡量標準。

原則正確性 來源屬性 刀具精度
包含正確的 PTO 持續時間 引用權威文件 叫用正確的工具
包含正確的註冊截止日期 參考資料,特定章節 使用有效的參數
不參考過期的原則 傳回正確的結果

套用和傳達品質訊號

使用品質訊號來推動評估工作流程並傳達見解。 若要套用品質訊號:

  • 標籤斷言 — 將訊號標籤新增至測試案例中的每個斷言。

    測試案例: PTO-001
    提示: “新員工有多少天假期?”

    斷言:

    • 回應包含「15 天」。
      訊號:原則正確性

    • 該回應引用了《員工手冊》。
      訊號:來源歸因

    • 回應提到 <了 2 年任期。
      信號:個人化

  • 計算指標 — 依訊號彙總通過和失敗結果。

    品質訊號 測試案例 通行證 失敗 通過率
    原則正確性 25 23 2 92%
    來源屬性 25 20 5 80%
    個人化 15 11 4 73%
    刀具精度 12 10 2 83%
    呈核的適當性 8 8 0 100%
    隱私權保護 10 10 0 100%
  • 確定問題的優先順序 – 專注於通過率低或影響力大的訊號。

    1. 個人化 (73%) - 差距最大,請先進行調查。
    2. 來源歸屬 (80%) - 第二優先。
    3. 刀具精度 (83%) - 第三優先。
    4. 原則正確性 (92%) - 次要問題,監視。
  • 追蹤進度 — 監控跨代理程式版本的訊號傳遞率。

    • 版本 1.0 > 、1.1 > 、1.2 > 、1.3
    • 個人化:73% > 78% > 85% > 91% (改善)
    • 來源歸因:80% > 82% > 88% > 90% (改善)
    • 工具精度:83% > 85% > 84% > 92% 在 v1.2 回歸) 後 (提高

品質訊號可轉換專案關係人的對話。 這種特殊性可以實現有針對性的修復、定量進度追蹤和更清晰的利害關係人溝通。

沒有訊號時: 代理程式效能不佳。 用戶在抱怨。

有訊號: 原則準確率為 92%,我們正在達到目標。 但在上次更新後,個人化下降到 73%。 具體來說,英國員工正在獲取美國假期資訊。 我們已找出根本原因:內容擷取未傳遞位置資料。 正在為下一個版本進行修正。

依客服專員類型排列的品質訊號

品質訊號和優先順序會根據您評估的客服專員類型而有所不同。

代理程式類型 Signal 優先順序
以知識為基礎 原則正確性 高
來源屬性 高
完整性 中等
個人化 中等
工具呼叫 刀具精度 高
工具回應處理 高
動作啟用 高
錯誤復原 中等
混合式 路由精確度 高
知識訊號 中等
工具訊號 中等
呈報的適當性 中等
客戶面向 隱私權保護 高
語氣和專業 高
呈報的適當性 高
解析完整性 中等

避免常見的陷阱

避免下列問題,以確保您的品質訊號保持有用、一致且可操作。

使用特定訊號,而不是一般類別

過於寬泛的訊號,例如「準確性」、「實用性」或「相關性」,無法提供可採取動作的深入解析。 通用訊號使得確定根本原因或確定改進優先順序變得困難。

相反,應根據評估結果中特定的、可觀察的模式來定義訊號。

  • 避免: 準確性
  • 偏好:原則正確性、來源屬性

避免過於細微的訊號

建立太多範圍狹窄的訊號會增加複雜性,但無法提高洞察力。 過多的粒度會分散分析,並使追蹤有意義的趨勢變得更加困難。

相反,將相關行為分組為更廣泛的、可重複使用的訊號類別。

  • 避免: PTO 準確度、福利準確度、假日準確度
  • 偏好: 原則正確性

避免模糊的及格與不及格準則

模糊的訊號定義,例如「正確性」,缺乏可衡量的標準。 如果沒有明確的標準,結果就會不一致且難以解釋。

相反,使用與評估結果相關的明確、可觀察的行為來定義訊號。

  • 避免:「回應正確」
  • 偏好:「回應包含正確的值並引用權威來源」

後續步驟