建立單一反應測試集

Note

本文描述由 標準線束驅動的代理或代理流程中使用的功能。

單一回應評估是針對一個無關問題測試你的客服人員，而不是完整對話。 例如，客服人員的單一回應評估會問「 你的工作時間是幾點？」，記錄該客服對該問題的回答，接著以新問題開始，問 我如何找到我的訂單紀錄？

單次回應評估很適合當你想測試代理如何回答特定問題、所調用的功能，以及它在回答中使用的確切措辭時。 你也可以執行 對話評估，讓你能評估客服人員在較長時間互動中的行為。

評估使用 測試集。 單一回應評估的測試集包含最多100個 測試案例。 當你執行代理評估時，你會選擇一個測試集，Copilot Studio 會用該測試集裡的所有測試案例來對付你的代理。

你可以手動在測試集內建立測試案例，或使用試算表匯入，或利用 AI 根據客服設計與資源生成訊息。 接著你可以選擇如何衡量代理人在測試集內每個測試案例回應的品質。

在 「關於代理人評估」中，了解更多關於代理人評估的運作方式。

欲了解如何編輯現有測試集，請參閱 「變更測試集細節」。

Important

Copilot Studio 的測試結果可供查詢 89 天。 若要儲存測試結果較長時間，請匯 出 結果為 CSV 檔案。

建立新的測試集

1. 前往你經紀人的 評估 頁面。

   

2. 選擇 新評估，然後選擇 單一回應。

   

3. 選擇你想用來建立測試集的方法。 一個測試集最多可包含 100 個測試案例。

   • 快速問題組讓 Copilot Studio 根據你的代理描述、指示和功能自動建立測試案例。 此選項產生 10 題，用於執行小型快速評估或開始建立較大的測驗集。
   • 完整題目集讓 Copilot Studio 使用 知識來源或主題產生測試案例，並選擇產生題目數量。
   • 利用你的測試聊天對話 ，自動填入你在 測試聊天中提供的問題。 此方法使用最新測試聊天室的題目。 你也可以使用評估 圖示從測試聊天中開始進行評估。
     
   • 從 檔案 中匯入測試案例時，方法是將檔案拖曳至指定區域 ，選擇瀏覽 以上傳檔案，或選擇其他上傳選項之一。
   • 或者，自己寫一些題目 ，手動建立一個測驗集。 請依照步驟 編輯測試集 以新增和編輯測試案例。
   • 使用基於經紀人分析主題的 製作數據 。

4. 在名稱底下，輸入測試組的名稱。

5. 在 選擇測試方法中，更改或新增你想使用的 測試方法 ：

   • 新增一種方法：
     1. 選擇 新增測試方法。
     2. 選擇所有你想測試的方法，然後選擇 確定。
     3. 有些方法需要及格分數。 通過分數決定了結果是通過還是失敗。 設定好分數，然後選擇 確定。
     4. 有些方法需要為每個測試案例加入預期回應或關鍵字。 了解更多關於 選擇評估方法
   • 選擇一個現有的測試方法來 編輯或刪除。

   測試方法	量值	測試集類型	計分	組態
   一般品質	根據特定特質，測試案例的回應有多好	單一回應或對話	滿分100%	沒有
   比較意義	測試案例答案的意義與預期答案的匹配程度	單一回應	滿分100%	及格分數，預期答案
   工具使用	測試案例是否使用了全部或任何預期的資源	單一回應	通過/不通過	預期能力
   關鍵字匹配	測試案例是否使用全部或任何預期的關鍵字或片語	單一回應或對話	通過/不通過	預期關鍵字或片語
   文字相似性	測試案例答案的文本與預期答案的吻合程度	單一回應	滿分100%	及格分數，預期答案
   完全相符	測試案例的答案是否完全符合預期答案	單一回應	通過/不通過	預期答案
   自定義	測試案例的回應是否符合你定義的標準或期望。	單一回應或對話	通過/不通過（通過定義的標籤標準）	名稱、評估指示、標籤

6. 編輯測試案例的細節。 除了 一般品質外，所有測試方法都要求預期答案或關鍵字。 在 「修改測試集」中了解更多關於編輯測試案例的資訊。

7. 在 「附加設定」中，選擇 「管理」。

   

8. 在 「管理個人檔案與連線」的「 使用者」中，選擇或新增你想用於此資料集的帳號。 評估在測試期間利用此帳號連結知識來源與工具。 在 管理用戶檔案與連結中了解更多。

   Note

   自動化測試則是透過所選測試帳號的驗證。 如果您的代理人擁有需要特定認證的知識來源或人脈，請選擇適合的帳號進行測試。 當 Copilot Studio 產生測試案例時，會利用連接帳號的認證資訊來存取你代理的知識來源和工具。 產生的測試案例可能包含連接帳號可存取的敏感資料。 任何有代理存取權的製作者也能查看與該代理相關的測試集。

9. 選擇 Save 以更新資料集而不執行評估，或選擇 Run 立即執行資料集。

從知識或主題產生單一回應資料集

你可以從代理人已有的資訊和對話來源中產生問題來測試你的代理人。 這種測試方法適合測試代理人如何使用知識來源或已有主題，但不適合測試資訊缺口。

利用以下知識來源產生資料案例：

• 文字

• Microsoft Word

• Microsoft Excel

• PDF 檔案

• SharePoint 檔案

Note

只使用單一 SharePoint 檔案作為知識來源來產生測試集。 SharePoint 資料夾不被支援。

你可以使用最高 5 MB 的檔案來產生測驗題目。

要產生資料集：

1. 前往你經紀人的 評估 頁面。

2. 選擇 新評估。

3. 在切換鍵中選擇 生成 選項：

   

4. 在 選擇資料類型中，選擇 單一回應。

   • 選擇 節目產生選項 以設定以下設定：

     

     1. 在 「產生題目數量」中，選擇並拖曳滑桿，選擇要在你的測驗集中產生題目數量。
     2. 在「 我們應該用什麼作為推薦？」中，選擇你希望代理人在產生新評估問題時參考的區域。 你有兩個選擇：
        • 知識來源：掃描代理人的知識以建立相關問題集。 知識對使用 生成式協調的代理來說效果最佳。
        • 主題：檢查代理人的主題並針對這些主題提出問題。 最適合使用經典模式的客服人員。 主題最適合使用經典編排的代理。

   

5. 選擇 產生資料集。

6. 在 檢視資料集中，輸入測試案例的詳細資訊。 除了 一般品質外，所有測試方法都要求預期答案或關鍵字。 在 「修改測試集」中了解更多關於編輯測試案例的資訊。

   

7. 在 選擇測試方法中，選擇或更改你想使用的 測試方法 ：

   • 新增一個方法：
     1. 選擇 新增測試方法。
     2. 選擇所有你想測試的方法，然後選擇 確定。 你可以加入多種方法。
     3. 有些方法可以先設定 通過分數，然後選擇 確定。 通過分數決定了結果是通過還是失敗。
     4. 有些方法需要為每個測試案例加入預期回應或關鍵字。 了解更多請參閱 「選擇評估方法」。
   • 選擇一個現有的測試方法來 編輯或刪除。

8. 在 「附加設定」中，選擇 「管理」。

   

9. 在 「管理個人檔案與連線」的「 使用者」中，選擇或新增你想用於此資料集的帳號。 評估在測試期間利用此帳號連結知識來源與工具。 在 管理用戶檔案與連結中了解更多。

   Note

   自動化測試則是透過所選測試帳號的驗證。 如果您的代理人擁有需要特定認證的知識來源或人脈，請選擇適合的帳號進行測試。 當 Copilot Studio 產生測試案例時，會利用連接帳號的認證資訊來存取你代理的知識來源和工具。 產生的測試案例可能包含連接帳號可存取的敏感資料。 任何有代理存取權的製作者也能查看與該代理相關的測試集。

10. 選擇 Save 以更新資料集而不執行評估，或選擇 Run 立即執行資料集。

測試案例產生限制

若有一個或多個問題違反代理的內容審核設定，測試案例產生將失敗。 可能的原因包括：

• 代理人的指示或主題引導模型產生內容，系統會標記這些內容。
• 連結的知識來源包含敏感或受限內容。
• 經紀人的內容審核設定太嚴格了。

要解決問題，可以嘗試不同操作，例如調整知識來源、更新指示或調整審核設定。

一個測試集最多可包含 100 個測試案例。

建立一個測試集檔案來匯入

你不必直接在 Copilot Studio 建置測試案例，而是可以建立一個包含所有測試案例的試算表檔案，然後匯入來建立你的測試集。 你可以自己撰寫每題測驗題目，並說明每題的預期答案。 完成檔案建立後，將其儲存為 .csv 或 .txt 檔案，並將其匯入 Copilot Studio。

Important

• 該文件最多可以包含 100 個問題。
• 每個問題最多可以有 1,000 個字元，包括空格。
• 檔案必須採用逗號分隔值 (CSV) 或文字格式。

若要建立匯入檔案：

1. 開啟試算表應用程式（例如 Microsoft Excel）。 選取 >匯入 後，你可以在 或上傳檔案 下方下載 CSV 範本。 你也可以從分析系統下載客戶會話，然後在 Excel 中編輯。

2. 在第一列中依此順序新增下列標題：

   • Question
   • 預期反應

3. 在問題欄中輸入您的測試問題。 每個問題可以不超過 1,000 個字元，包括空格。

4. 在預期回覆欄中輸入每個問題的預期回覆。 匯入測試組的預期回覆是選用的。 不過，您需要預期回應，才能執行比對、相似性及語意比較測試案例。

5. 將檔案儲存為 .csv 或 .txt 檔。

6. 依照 「建立新測試集」的步驟匯入檔案。

透過匯入集合檔案建立單一回應資料集

1. 前往你經紀人的 評估 頁面。

2. 選擇 新評估。

3. 在 選擇資料類型中，選擇 單一回應。

4. 在切換鍵中選擇 匯入 選項。

   

5. 可選擇預覽聊天以使用您目前預覽聊天會話中的資料，或是將檔案拖入指定區域，或選擇「拖曳檔案」或點擊上傳（CSV）後，從 CSV 檔案匯入測試案例。

   

6. 在 檢視資料集中，編輯測試案例的細節。 除了 一般品質外，所有測試方法都要求預期答案或關鍵字。 在 「修改測試集」中了解更多。

7. 在 選擇測試方法中，選擇或更改你想使用的 測試方法 ：

   • 新增一個方法：
     1. 選擇 新增測試方法。
     2. 選擇所有你想測試的方法，然後選擇 確定。 你可以加入多種方法。
     3. 有些方法可以先設定 通過分數，然後選擇 確定。 通過分數決定了結果是通過還是失敗。
     4. 有些方法需要為每個測試案例加入預期回應或關鍵字。 了解更多請參閱 「選擇評估方法」。
   • 選擇一個現有的測試方法來 編輯或刪除。

8. 在 「附加設定」中，選擇 「管理」。

9. 在 「管理個人資料與連線 」的 「使用者」中，選擇或新增你想用於此資料集的帳號。 評估在測試期間利用此帳號連結知識來源與工具。 在 管理用戶檔案與連結中了解更多。

10. 選擇 Save 以更新資料集而不執行評估，或選擇 Run 立即執行資料集。

根據主題建立一套測試集

建立一套測試集，裡面有與真實使用者對話中的問題。 此方法使用主題 （預覽），這些主題來自您的經紀人分析資料。

主題是由使用者問題集中挑選出的問題組合，用來觸發生成式回應。 當你使用主題建立測試集時，你會根據使用者提出與該主題相關的問題來產生測試案例。

利用這些測試集針對代理人的某一領域或主題進行評估。 例如，如果你有客服專員，你可以將 帳單和付款 問題的回答品質與故障排除等其他應用情境分開追蹤。

Note

在從主題建立測試集之前，你需要在分析平台中獲得主題的存取權限。 檢視主題預覽的先決條件。

1. 在您的代理程式 監視 頁面中，前往 主題 清單。

2. 將滑鼠移到主題上，然後選擇「評估」。

   

   你也可以選擇 「全部」 以查看更多主題，然後選擇 「評估」。

3. 選擇 建立並開啟。

4. 編輯測試集和案例的細節。 所有使用方法的測試案例，除了 一般品質外，都需要預期的回應。 在 「修改測試集」中了解更多關於編輯的資訊。

5. 選擇 「儲存 」以更新測試集，但不執行測試案例;選擇 「評估 」以立即執行測試集。