Copilot Studio 營運健康情況指標可在 Power Platform 系統管理中心取得。
檢視 Copilot Studio 指標
在導覽窗格中,選擇監視。
在 監視器 窗格中, 在產品下,選取 Copilot Studio。
Copilot Studio 頁面顯示在 Copilot Studio 中建立的對話式和自主代理程式的計量。 對於使用 GitHub Copilot 的客服人員,Copilot Studio 利用 AI 審查每個已完成的會話,並為其指派單一結果,例如已解決、升級或放棄。 Monitor 接著根據該結果決定該會話是成功還是失敗。 AI 分析會在會話結束後執行,因此這些代理的指標可在使用後 48 小時內顯示在 Monitor。
Copilot Studio 指標和建議
指標定義
| 類型 | 計量 | Definition | Support |
|---|---|---|---|
| Agents | 代理會話成功率 | 百分比描述自主代理成功執行任務的頻率,或對話代理會話成功解決的頻率。 | 一般開放使用 |
| Agents | 最近的 Agent 工作階段 | 一天內的代理程式中不同使用者會話數。 工作階段在使用者開啟代理程式時開始,並在一段時間不活動或代理關閉後結束。 | 一般開放使用 |
工作階段結果對應
下表顯示 Monitor 如何統計使用 GitHub Copilot 的代理程式之每個工作階段結果。
| 會議結果 | 這是什麼意思? | 代理會話成功率 | 最近的 Agent 工作階段 |
|---|---|---|---|
| 已解決 – 已確認 | 使用者確認他們的需求已被滿足。 | ✅ 成功 | 已計入 |
| 已解決 – 隱含 | 使用者的需求似乎已被滿足,儘管使用者並未明確確認此事。 | ✅ 成功 | 已計入 |
| 已升級處理 – 系統預期 | 代理程式因為建立者設定的升級規則而交接了這個工作階段。 代理程式做了它原本設計要做的事。 | ✅ 成功 | 已計入 |
| 已升級處理 – 使用者請求 | 該用戶要求與真人對話。 | ❌ 失敗 | 已計入 |
| 已升級處理 – 系統非預期 | 工作階段遭到升級是因為代理程式或它呼叫的工具或流程失敗。 | ❌ 失敗 | 已計入 |
| 未解決 – 客服人員未能處理 | 代理程式表示無法協助這個請求。 | ❌ 失敗 | 已計入 |
| 未解決 – 使用者已拒絕 | 用戶拒絕了代理程式的回答。 | ❌ 失敗 | 已計入 |
| 未解決——不完整 | 會話結束時,使用者的需求仍然未解決。 | ❌ 失敗 | 已計入 |
| 已放棄 | 使用者在會話結束前就停止回應了。 | ❌ 失敗 | 已計入 |
| 未參與 | 使用者從未傳訊息給客服人員,所以沒有結果。 | 已排除 | 不計入 |
| 未分析 | 結果無法確定。 例如,該會話太大而無法分析、因分析容量限制而被跳過,或分析未傳回有效結果。 | 已排除 | 不計入 |
成功率的計算方式
Monitor 僅從有以下結果的會話中計算成功率:
代理會話成功率 = 成功會話數 ÷(成功會話數 + 失敗會話數)
Note
- 每個工作階段僅計算一次。
- 這種映射適用於使用 GitHub Copilot 的代理程式對話工作階段。 自主代理則持續根據每次執行是否完成任務來回報成功。
提升成功率的建議
- 許多「未解決」或「升級-用戶請求」的結果: 檢查該客服是否具備回答常見問題所需的知識來源與指示。
- 許多「升級-系統非預期」結果: 尋找代理呼叫的工具、連接器或流程故障。
- 許多「放棄」結果: 查看對話逐字稿,了解使用者在冗長回應或反覆澄清問題後的流失。