共用方式為


分析對話式代理程式的有效性

Copilot Studio 中的 Analytics頁面提供您代理人在 analytics session 中整體效能的彙整洞察。 此頁面分為多個核心區域,分別聚焦於不同效能情境。 此頁面還顯示「 概觀 」區域,為客服專員提供高階關鍵績效指標 (KPI) 指標,「 節省」 區域,用於分析客服專員或客服專員工具所節省的時間和成本,以及「 摘要」 區域,提供客服專員績效的關鍵分析見解。

若需進一步資訊:

在審查和提高對話代理程式效率時,需專注於六個核心領域:

  • 主題主題 通過將用戶問題聚類到 AI 建議的類別中來幫助您獲得分析見解。
  • 對話結果:了解對話的最終結果可以幫助您開始確定客服專員在哪些方面取得了成功,哪些方面需要改進。
  • Agent:查看呼叫量指標、成功率以及子 Agent 與關聯 Agent 的現狀。
  • 產生的回答率和品質:了解客服專員何時難以提供使用者問題的答案,以及它如何使用知識來源,可以幫助您找到提高客服專員的回答率和品質的方法。
  • 工具使用:瞭解工具的使用頻率,以及它們成功的頻率,可協助您了解這些工具是否對使用者有用且成功。
  • 滿意度:檢閱使用者意見反應可協助您識別新的使用者案例和問題,並直接根據使用者的要求進行改進。

您可以查看過去 90 天內發生的事件的分析。

交談結果

交談結果區塊顯示一張圖表,追蹤您 Agent 與使用者之間每次工作階段的結果類型。

結果和參與度圖表的螢幕擷取畫面。

該圖表無論是以堆疊直方圖或堆疊面積圖顯示,皆以顏色編碼及類型堆疊的結果相對數量視覺化呈現。 每個資料點都有其代表的顏色來表示已解決升級放棄未參與。 縱軸表示工作階段的數量。

要查看針對某個數據點 (特定日期) 的個別結果指標,請將滑鼠移到代表您感興趣當天某個結果顏色的區域 (例如青綠色代表被遺棄)。 在該範例中,11 月 24 日有 90 次放棄的會話,佔了當日所有會話結果的 35.6%。

帶有工具提示的對話結果堆疊面積圖截圖。

在圖表下方的圖例中,將滑鼠移到任一結果標籤上,即可在圖表中突出該結果。

對話結果堆疊區域圖的截圖,突出顯示一個結果。

選擇 (開啟或關閉) 一個或多個圖例標籤,以顯示或隱藏堆疊面積圖的結果。 這麼做可以讓剩下的結果更清楚,當:

  • 個別的結果線看起來非常接近。
  • 您想更清楚地看到趨勢線是正向還是負向,但圖表上堆疊的結果總和正在壓平這些趨勢線。

注意

當您以這種方式從圖表中移除一個結果時,您就把該結果從更大的顯示結果集區中移除了。 移除顯示結果會改變剩餘結果在集區中顯示的百分比值,因為這改變了比率的分母。

以下範例中,升級未投入標籤已從圖表中移除。 在 11 月 23 日的提示中顯示有 95 次工作階段被放棄,佔圖表中剩餘可見結果的 60.5%(為已解決 + 放棄結果的總和)。

對話結果堆疊區域圖螢幕擷取畫面,移除兩個結果。

若要下載交談結果資料 (圖表中視覺化的資料),請選取功能表圖示 ,然後選取 [ 下載 CSV]。

注意

如果您在下載時從圖表中移除結果,其資料就不會被包含在 CSV 檔案中。

若要開啟包含詳細對話結果資訊的側面板,請選擇查看圖表上的詳細資訊對話成果側面板包括:

  • 一個圓餅圖分析會話結果,顯示已解決升級放棄結果的相對權重(以百分比表示)。
  • 一個堆疊長條圖,顯示所有已解決會話結果中,已解決 (已確認)已解決 (隱含)結果原因的相對權重(以百分比表示)。
  • 一個堆疊條狀圖,顯示系統意圖系統非預期使用者請求結果原因的相對權重 (百分比),描述所有升級工作階段結果。
  • 導致每個結果的主要議題。

注意

若要查看包含原始計數資訊的工具提示,請將滑鼠移至任何圓餅圖或堆疊條形圖區段上。

交談結果窗格的螢幕擷取畫面。

會話分為以下兩種狀態之一:

  • 未參與:當使用者與您的 Agent 互動,或 Agent 向使用者發送主動訊息時,工作階段就開始了。 工作階段會在未啟動狀態下開始。

  • 參與:使用者主動與客服專員互動。 根據 代理程式的協調流程模式,行為會有所不同。

    • 傳統協調流程:當下列其中一個主題被觸發時,工作階段即進入活動狀態:

      • 使用者直接觸發的自訂主題
      • 升級主題
      • 後備主題
      • 交談增強主題
    • 生成式 AI 協調流程:當使用者直接觸發計畫並包含以下任一元素時,工作階段即進入互動狀態:

      • 非系統主題
      • 升級主題
      • 後備主題
      • 知識來源
      • 工具

參與式工作階段會產生以下結果之一:

結果類別 結果 描述
已解決 工作階段成功結束。 已解決的會話有兩種類型:確認已解決隱含已解決
已解決 (確認) 交談結束主題被觸發,並且使用者確認互動成功時,工作階段將被視為已確認解決
已解決 (默許) 隱含解決:當工作階段未經使用者確認,而是基於 Agent 的邏輯完成時,即視為隱含解決。 已解決的隱含狀態取決於您的代理是否使用傳統或生成式 AI 編排:
傳統協調流程:如果觸發交談結束主題,且使用者沒有提供確認就讓工作階段逾時,則將工作階段視為已隱含解決
- 生成式 AI 協調:若會話逾時且沒有剩餘的有效活動計畫,該會話將被視為已隱含解決。 待執行的方案是等待使用者輸入的方案。
已上呈 當觸發升級主題或執行轉接至專員節點時,會話會結束並被視為升級(目前的分析會話會結束,無論對話是否被轉接給真人專員)。 升級工作階段分為三種類型:系統意圖系統非意圖及使用者請求
系統意圖 由製作者設定的自動化商務規則,會使工作階段自動升級。 升級是對話中預期的結果,不需要調查或改變。
範例:用戶想將超過 25,000 美元轉帳給第三方。 這個金額超過商務規則的門檻,工作階段會自動升級。
系統非預期 當一個工作階段超過製作者設定的一個或多個閾值時,會自動發生升級。 通常,這個結果表示使用者在對話中卡住,需要協助。
範例:某個工作階段在三次執行特定任務失敗後被升級。
使用者要求 工作階段被升級是因為交談中有明確的使用者要求。
範例:使用者輸入 Transfer me to an agent
已放棄 當一個專注的工作階段經過 30 分鐘逾時且未達到解決或呈報狀態時,該階段將結束並被視為已放棄

您也可以使用工具程式代碼編輯器,使用 conversationOutcome 參數來設定工具的結果。 例如,conversationOutcome: ResolvedConfirmed 表示確認成功,或 conversationOutcome: ResolvedImplied 表示隱含成功。

請參閱有關 衡量參與 度的指引文件,裡面有衡量與提升參與度的建議與最佳實務。

代理

代理清單會顯示主要代理所連接的代理和子代理的高層次數量、效能和狀態指標。 清單中的類型欄位會標示所列 Agent 與主 Agent 的關聯類型。 若代理為子代理,其類型為 Child。 連線代理有一個列出的類型,反映其創建地點(例如Copilot StudioAzure AI Foundry)。 列出的每個代理的通話指標描述了從主代理到連接代理或子代理的通話量。 成功率反映成功完成的通話比例 (佔總通話數的百分比)。 狀態顯示每個連接 Agent 與子 Agent 的個別管理狀態。

預設情況下,Agent 清單會顯示主 Agent 前五名 (5) 的連接 Agent 與子 Agent,依總提問數由高至低排序。 若 Agent 數量超過五個,請點選查看全部以顯示所有 Agent。

注意

查看全部按鈕僅在您的主代理擁有超過五個連接或子代理時顯示。

分析頁面 Agent 區段的螢幕擷取畫面。

生成的回答率與品質(預覽版)

重要

本文包含 Microsoft Copilot Studio 預覽文件,內容可能會有所變動。

預覽功能不供生產時使用,而且可能功能受限。 這些功能是在正式發行前先行推出,讓您能夠搶先體驗並提供意見反應

如果你正在打造一個準備部署的代理,請參考 Microsoft Copilot Studio 概述

透過生成式回答功能,您的 Agent 可運用 AI,依據知識來源與您提供的指令,為用戶查詢生成回應。 然而,您的 Agent 可能無法回答所有使用者查詢。 產生的回答率和品質部分會追蹤、組織和分析未回答的查詢和答案品質,為您提供改善客服專員應答效能的指導。

答覆率與品質區段。

回答率顯示所選時段內已回答和未回答的問題數量,以及隨時間變化的百分比。

回應質量 會測量使用 AI 的答案品質。 Copilot Studio 會檢視一組已回答的問題樣本,並分析不同的品質,包括完整度、相關性以及回答的貼地程度。 如果答案符合某個標準,Copilot Studio 會標示為Good品質。 Copilot Studio 會把不符合標準的答案標示為Poor 品質。 針對品質不佳的回答,Copilot Studio 會說明評級原因,並顯示各類別回答所佔比例。

將滑鼠懸停在圖表中的任一長條上,即可查看某特定原因對優良不良品質標籤的相對權重。 提示同時會顯示抽樣的答案數量,以得出計算出的百分比值。

生成答案品質的堆疊條狀圖截圖,並附有提示,顯示個別理由的指標。

在圖表下方的圖例中,將游標移至任一品質標籤原因上,即可在圖表中突出顯示該原因。

生成答案品質的截圖,堆疊條狀圖,標示無關原因。

選擇 「查看問題 」可查看設定時間內 所有問題的未篩選清單

選取 [查看詳細數據 ] 以開啟側邊面板,其中包含問題解答率、知識來源使用量,以及所選時段的錯誤率。 您可以使用這些圖表來確定哪些知識來源可以很好地幫助使用者,哪些知識來源需要改進。

若您的 Agent 包含子 Agent,請在側邊面板中選擇:全部以同時顯示主 Agent 與子 Agent 的指標,主 Agent 僅顯示主 Agent 的相關指標,子 Agent 僅顯示子Agent的相關指標。

生成答案的回應率與品質詳細資訊窗格螢幕擷取畫面,重點顯示 Agent 類型篩選功能。

  • 未回答的問題 會顯示代理程式未回答用戶查詢的原因。
  • 知識來源使用情況會顯示使用 Agent 有權存取的每個知識來源的工作階段百分比。
  • 所有來源 都會顯示使用每個知識來源的問題百分比。
  • Errors 顯示每種知識來源類型(例如 SharePoint)查詢中產生知識相關錯誤的百分比。

所有來源下,若需檢視任一列出知識來源的詳細資訊,請選取個別來源。 工具提示包含:

  • 引用此知識來源的問題總數,以及倒讚的反應數。
  • 一個堆疊條形圖,顯示引用此知識來源的問題中,回應品質相對權重的細分情況。 將游標懸停於條形圖的任何區段,即可查看該區段的相對權重值及計算該值所採樣的問題數量。

特定知識來源的回應品質相對權重螢幕擷取畫面,顯示單一品質值的工具提示。

深入查看代理程式問題清單

深入檢視對指標有貢獻的特定問題及其支持脈絡,例如代理人的回應、使用者的反應,以及涉及的知識來源。 此觀點能更深入了解回應品質,並協助識別知識覆蓋可能的缺口。

重要

您需要 Bot Transcript Viewer 資訊安全角色,才能檢視清單及其指標。 只有系統管理員能在分享 Agent 時指派機器人文字記錄檢視器安全性角色,以授予此角色。

要在您的單人或群組環境中啟用此安全角色,請參閱 「如何設定文字記錄設定」。

目前支援以下指標面板深入問題清單: 生成的回答率與品質 ,以及 知識來源使用

分析分頁上的「產生答案率與品質」及「知識來源」面板截圖。

要深入到問題清單視窗:

  • 生成的回答率與品質 面板中,選擇 「查看問題」。
  • 「產生的答案率與品質」面板中,將滑鼠移至並點擊「良好」「差」答案欄區塊。
  • 生成的回答率與品質 面板中,選擇 「已回答」或「未回答」 問題的百分比指標。
  • 知識來源使用 面板中,選擇 查看詳情 以開啟 知識來源使用 側面板,選擇所需的來源,然後在彈出視窗中選擇 「查看問題 」。

使用者問題清單會根據你深入分析的資料點篩選。 這反映在問題列表上方的預設篩選設定中。 例如,在產生答案品質圖塊中選擇差條的「無關條」段,該問題的「回應品質」篩選器會設定為 。Irrelevant

如有需要,您可以在清單頁面執行以下操作:

問題清單視窗顯示以下內容:

資料行 描述
問題已被提出。
已回答 生成式 AI 回應狀態:已回覆或未回答。
回應品質 抽樣問題的回答品質。 可能的值是 PoorGood
回應 豎起大拇指、豎下大拇指或不回應,並可選擇文字留言。
日期 問題得到回答的日期。
知識來源 代理人回應中引用的知識來源列表。

欲了解更多資訊,請選擇 「顯示任何問題的詳細資訊 」以開啟問題詳情側面板。 本小組提供關於每個問題回應品質的額外見解。

詳細的問題層級參數 描述
時間戳 回答問題的最近實例的時間戳記。
用戶查詢 問題已被提出。
回應 生成式 AI 回應。
大拇指向上/大拇指向下的值 此問題的最新例項的值,適用於 Thumbs up / Thumbs down 參數。
註解 選擇性添加的文字型註解,由使用者提供,與「豎起大拇指/豎下大拇指」反應一起使用。
回應品質1 回應使用者查詢的回應品質如何的問題。 可能的值是 PoorGood
原因2 在回應品質為 Poor的情況下,此參數會說明原因。

1 回應品質並非一律可用,只有在對問題進行品質分析抽樣時才會顯示。

2 如果 [回應品質] 為 或 Good 問題未取樣,則不會指派 [原因] 參數任何值。

工具使用

[工具使用] 區段會顯示圖表和計量,可追蹤工具在一段時間內啟動的頻率,以及代理程式成功使用這些工具的頻率。 它還顯示了您的 Agent 使用每種工具的頻率,以及成功使用呼叫工具的百分比趨勢指標。

此圖表會顯示在 [分析 ] 頁面頂端定義的日期期間內所使用的前五個工具。

在圖表下方的圖例中,將滑鼠移到任一工具上,即可在圖表中突出該工具。

工具使用圖表的截圖,其中一個工具被突顯出來。

若要開啟側邊面板,其中包含指定時段內使用的所有工具清單,以及趨勢指標,請選取圖表上的 [查看詳細數據 ]。 在工具使用面板中,可顯示各工具所處理問題比例的計算結果。 若您的 Agent 有子 Agent,可選擇同時顯示主 Agent 與子 Agent (全部)、僅顯示主 Agent,或僅顯示子 Agent 的計算結果。

工具使用圖表和計量的螢幕擷取畫面。

工具使用面板的螢幕擷取畫面,重點顯示 Agent 類型篩選功能。

滿意度

滿意度區塊顯示用戶從客服人員回應、調查結果及會話情緒分數中收集的反饋。 滿意度分為兩個子區塊: 反應 區,顯示特定客服人員回應的讚、踩反饋及用戶評論;以及 調查結果區 ,顯示整個會談的明確客戶滿意度(CSAT)分數及基於 AI 的情緒分析。

意見反應資料儲存在 Dataverse 的交談文字記錄資料表中。 如需支援此功能的頻道清單,請參閱功能詳細資料

回應

反應區段顯示從 Agent 回應及工作階段調查結果收集的使用者意見反應。 圖表會統計使用者對每個從您的 Agent 收到的回應,所選取的「讚許」(正面) 或「反對」(負面) 按鈕的次數。

回應反應圖表。

使用者提供反應後,可留下評論。 若要檢視註解,請選取 [ 查看詳細資料]。 在 反應留言 面板中,選擇 全部按讚不喜歡 來篩選留言。

注意

  • 發佈到 Microsoft 365 Copilot 通道的代理程式不支援反應。
  • 要檢視評論,您必須擁有Bot Transcript Viewer安全角色。

欲檢視各反應對應的使用者查詢與 Agent 回應,請點選評論旁的切換按鈕。 「分析」頁面最多可儲存使用者查詢和客服專員回應 28 天。

顯示使用者查詢和回應的「反應」面板上的展開-摺疊切換的螢幕擷取畫面。

使用者意見反應預設為 開啟。 如果需要,您可以關閉此功能。 您也可以新增或編輯有關如何使用其意見反應的免責聲明:

  1. 開啟代理程式,然後移至 [ 設定],然後尋找 [使用者意見反應 ] 區段。

  2. 開啟 [讓使用者在使用此代理程序開啟關閉時提供意見反應]。

  3. 新增或編輯免責聲明,以便使用者知道他們的意見反應是如何使用的。 您也可以提供隱私資訊和提示。

使用者對會話的滿意度

基於用戶調查結果以及 AI 對部分會話情緒的分析,會話用戶滿意度區塊顯示了相關資訊:

使用者滿意度(會話)資料磚的截圖。

  • 調查滿意度分數:根據用戶回應會話結束時詢問問卷請求的平均客戶滿意度(CSAT)分數計算出的5分(滿分5分)。

    注意

    12 的分數對應到不滿意,分數 3 視為普通,分數 45 對應到滿意

  • 按會談的滿意度:一個堆疊條狀圖,視覺化調查中各分數類別的相對權重,為DissatisfiedNeutralSatisfied。 將滑鼠移到圖表的每個區段上,即可查看樣本大小及各分數類別權重的數值。

  • 情感分析(預覽):調查分數的輔助指標。 此指標利用 AI 分析從多個會話中擷取的用戶訊息,以評估整體用戶對客服的情緒。 數值代表負面用戶情緒的會話百分比。

選擇「查看詳情」以深入分析各情緒類別(分別為 Positive、 、 NeutralNegative和 )的相對權重,並查看報告設定期間內滿意度指標的趨勢。

滿意度分數趨勢圖的螢幕擷取畫面。