Copilot Studio 中的 Analytics 頁面提供您代理人在analytics session整體效能的彙整洞見。 此頁面分為多個核心區域,分別聚焦於不同效能情境。 此頁面還顯示「 概觀 」區域,為客服專員提供高階關鍵績效指標 (KPI) 指標,「 節省」 區域,用於分析客服專員或客服專員工具所節省的時間和成本,以及「 摘要」 區域,提供客服專員績效的關鍵分析見解。
若需進一步資訊:
- 摘要與概覽區域,請參閱數據分析概覽
- 節省區域,請參閱分析 Agent 節省時間和成本
在審查和提高對話代理程式效率時,需專注於六個核心領域:
- 主題: 主題 通過將用戶問題聚類到 AI 建議的類別中來幫助您獲得分析見解。
- 對話結果:了解對話的最終結果可以幫助您開始確定客服專員在哪些方面取得了成功,哪些方面需要改進。
- Agent:查看呼叫量指標、成功率以及子 Agent 與關聯 Agent 的現狀。
- 產生的回答率和品質:了解客服專員何時難以提供使用者問題的答案,以及它如何使用知識來源,可以幫助您找到提高客服專員的回答率和品質的方法。
- 工具使用:瞭解工具的使用頻率,以及它們成功的頻率,可協助您了解這些工具是否對使用者有用且成功。
- 效能:檢視使用者回饋有助於你識別新的使用者情境與問題,並根據使用者的需求直接進行改進。
您可以查看過去 90 天內發生的事件的分析。
交談結果
交談結果區塊顯示一張圖表,追蹤您 Agent 與使用者之間每次工作階段的結果類型。
該圖表無論是以堆疊直方圖或堆疊面積圖顯示,皆以顏色編碼及類型堆疊的結果相對數量視覺化呈現。 每個資料點都有其代表的顏色來表示已解決、升級、放棄和未參與。 縱軸表示工作階段的數量。
要查看針對某個數據點 (特定日期) 的個別結果指標,請將滑鼠移到代表您感興趣當天某個結果顏色的區域 (例如青綠色代表被遺棄)。 在該範例中,11 月 24 日有 90 次放棄的會話,佔了當日所有會話結果的 35.6%。
在圖表下方的圖例中,將滑鼠移到任一結果標籤上,即可在圖表中突出該結果。
選擇 (開啟或關閉) 一個或多個圖例標籤,以顯示或隱藏堆疊面積圖的結果。 這麼做可以讓剩下的結果更清楚,當:
- 個別的結果線看起來非常接近。
- 您想更清楚地看到趨勢線是正向還是負向,但圖表上堆疊的結果總和正在壓平這些趨勢線。
注意
當您以這種方式從圖表中移除一個結果時,您就把該結果從更大的顯示結果集區中移除了。 移除顯示結果會改變剩餘結果在集區中顯示的百分比值,因為這改變了比率的分母。
以下範例中,升級與未投入標籤已從圖表中移除。 提示顯示 11 月 23 日有 95 次放棄工作階段,佔圖表中剩餘可見結果的 60.5% (已解決 + 放棄結果總和)。
若要下載交談結果資料 (圖表中視覺化的資料),請選取功能表圖示
,然後選取 [ 下載 CSV]。
注意
如果您在下載時從圖表中移除結果,其資料就不會被包含在 CSV 檔案中。
若要開啟包含詳細對話結果資訊的側面板,請選擇查看圖表上的詳細資訊。 對話成果側面板包括:
- 一個圓餅圖分解工作階段結果,顯示已解決、升級及放棄結果的相對權重 (以百分比表示)。
- 一張堆疊長條圖,顯示所有已解決工作階段結果中,已解決 (已確認) 與已解決 (隱含) 結果原因的相對權重 (以百分比表示)。
- 一個堆疊條狀圖,顯示系統意圖、系統非預期及使用者請求結果原因的相對權重 (百分比),描述所有升級工作階段結果。
- 導致每個結果的主要議題。
注意
若要查看包含原始計數資訊的工具提示,請將滑鼠移至任何圓餅圖或堆疊條形圖區段上。
會話分為以下兩種狀態之一:
未參與:當使用者與您的 Agent 互動,或 Agent 向使用者發送主動訊息時,工作階段就開始了。 工作階段會在未啟動狀態下開始。
參與:使用者主動與客服專員互動。 根據 代理程式的協調流程模式,行為會有所不同。
傳統協調流程:當下列其中一個主題被觸發時,工作階段即進入活動狀態:
- 使用者直接觸發的自訂主題
- 升級主題
- 後備主題
- 交談增強主題
生成式 AI 協調流程:當使用者直接觸發計畫並包含以下任一元素時,工作階段即進入互動狀態:
- 非系統主題
- 升級主題
- 後備主題
- 知識來源
- 工具
參與式工作階段會產生以下結果之一:
| 結果類別 | 結果 | 描述 |
|---|---|---|
| 已解決 | 工作階段成功結束。 已解決的會話有兩種類型:確認已解決 和 隱含已解決。 | |
| 已解決 (確認) | 當交談結束主題被觸發,並且使用者確認互動成功時,工作階段將被視為已確認解決。 | |
| 已解決 (默許) |
隱含解決:當工作階段未經使用者確認,而是基於 Agent 的邏輯完成時,即視為隱含解決。 已解決的隱含狀態取決於您的代理是否使用傳統或生成式 AI 編排: 傳統協調流程:如果觸發交談結束主題,且使用者沒有提供確認就讓工作階段逾時,則將工作階段視為已隱含解決。 - 生成式 AI 協調流程:當工作階段逾時且沒有剩餘的有效計畫時,工作階段會視為已隱含解決。 待執行的方案是等待使用者輸入的方案。 |
|
| 已上呈 | 呈報:當觸發呈報主題或執行轉接專員 節點時,工作階段會結束並視為呈報 (目前分析工作階段會結束,無論交談是否轉接給真人專員)。 升級工作階段分為三種類型:系統意圖、系統非意圖及使用者請求。 | |
| 系統意圖 | 由製作者設定的自動化商務規則,會使工作階段自動升級。 升級是對話中預期的結果,不需要調查或改變。 範例:用戶想將超過 25,000 美元轉帳給第三方。 這個金額超過商務規則的門檻,工作階段會自動升級。 |
|
| 系統非預期 | 當一個工作階段超過製作者設定的一個或多個閾值時,會自動發生升級。 通常,這個結果表示使用者在對話中卡住,需要協助。 範例:某個工作階段在三次執行特定任務失敗後被升級。 |
|
| 使用者要求 | 工作階段被升級是因為交談中有明確的使用者要求。 範例:使用者輸入 Transfer me to an agent。 |
|
| 已放棄 | 當參與工作階段在 30 分鐘後逾時且未達到解決或呈報狀態時,工作階段會結束並視為已放棄。 |
您也可以使用工具程式代碼編輯器,使用 conversationOutcome 參數來設定工具的結果。 例如,conversationOutcome: ResolvedConfirmed 表示確認成功,或 conversationOutcome: ResolvedImplied 表示隱含成功。
請參閱有關 衡量參與 度的指引文件,裡面有衡量與提升參與度的建議與最佳實務。
代理
Agent 清單會顯示主 Agent 所連接 Agent 及子 Agent 的高階量度、效能與狀態指標。 清單中的類型欄位會標示所列 Agent 與主 Agent 的關聯類型。 若代理為子代理,其類型為 Child。 連線代理有一個列出的類型,反映其創建地點(例如Copilot Studio、Azure AI Foundry)。 列出的每個代理的通話指標描述了從主代理到連接代理或子代理的通話量。
成功率反映成功完成的通話比例 (佔總通話數的百分比)。
狀態顯示每個連接 Agent 與子 Agent 的個別管理狀態。
預設情況下,Agent 清單會顯示主 Agent 前五名 (5) 的連接 Agent 與子 Agent,依總提問數由高至低排序。 若 Agent 數量超過五個,請點選查看全部以顯示所有 Agent。
注意
查看全部按鈕僅在您的主代理擁有超過五個連接或子代理時顯示。
生成的回答率與品質
透過生成式回答功能,您的 Agent 可運用 AI,依據知識來源與您提供的指令,為用戶查詢生成回應。 然而,您的 Agent 可能無法回答所有使用者查詢。 產生的回答率和品質部分會追蹤、組織和分析未回答的查詢和答案品質,為您提供改善客服專員應答效能的指導。
回答率顯示所選時段內已回答和未回答的問題數量,以及隨時間變化的百分比。
回應質量 會測量使用 AI 的答案品質。 Copilot Studio 會檢視一組已回答的問題樣本,並分析不同的品質,包括完整度、相關性以及回答的貼地程度。 如果答案符合某個標準,Copilot Studio會標示為Good品質。 Copilot Studio會將不符合該標準的答案標示為Poor品質。 對於Poor的答案,Copilot Studio會提供品質評分的理由,並顯示分配到每個類別的答案百分比。
將滑鼠懸停在圖表中的任一長條上,即可查看某特定原因對優良或不良品質標籤的相對權重。 提示同時會顯示抽樣的答案數量,以得出計算出的百分比值。
在圖表下方的圖例中,將游標移至任一品質標籤原因上,即可在圖表中突出顯示該原因。
選擇 「查看問題 」可查看設定時間內 所有問題的未篩選清單 。
選取 [查看詳細數據 ] 以開啟側邊面板,其中包含問題解答率、知識來源使用量,以及所選時段的錯誤率。 您可以使用這些圖表來確定哪些知識來源可以很好地幫助使用者,哪些知識來源需要改進。
若您的 Agent 包含子 Agent,請在側邊面板中選擇:全部以同時顯示主 Agent 與子 Agent 的指標,主 Agent 僅顯示主 Agent 的相關指標,子 Agent 僅顯示子Agent的相關指標。
- 知識來源使用情況會顯示使用 Agent 有權存取的每個知識來源的工作階段百分比。
- 所有來源 都會顯示使用每個知識來源的問題百分比。
- Errors 顯示每種知識來源類型(例如 SharePoint)查詢中產生知識相關錯誤的百分比。
在所有來源下,若需檢視任一列出知識來源的詳細資訊,請選取個別來源。 工具提示包含:
- 引用此知識來源的總問題數量,以及喜歡與不喜歡的反應數。
- 一個堆疊條形圖,顯示引用此知識來源的問題中,回應品質相對權重的細分情況。 將游標懸停於條形圖的任何區段,即可查看該區段的相對權重值及計算該值所採樣的問題數量。
深入查看代理程式問題清單
深入檢視對指標有貢獻的特定問題及其支持脈絡,例如代理人的回應、使用者的反應,以及涉及的知識來源。 此觀點能更深入了解回應品質,並協助識別知識覆蓋可能的缺口。
重要
您需要 Bot Transcript Viewer 資訊安全角色,才能檢視清單及其指標。 只有系統管理員能在分享 Agent 時指派機器人文字記錄檢視器安全性角色,以授予此角色。
要在您的單人或群組環境中啟用此安全角色,請參閱 「如何設定文字記錄設定」。
目前,以下指標面板支援深入檢視問題清單的功能:生成的回答率與品質,以及知識來源使用情況。
若要向下切入到問題清單視窗:
- 從 生成的回答率與品質 面板中,選擇 「查看問題」。
- 從「產生的答案率與品質」面板中,將滑鼠移至並點擊「良好」或「差」答案欄區塊。
- 從 生成的回答率與品質 面板中,選擇 「已回答」或「未回答」 問題的百分比指標。
- 從 知識來源使用 面板中,選擇 查看詳情 以開啟 知識來源使用 側面板,選擇所需的來源,然後在彈出視窗中選擇 「查看問題 」。
使用者問題清單會根據你深入分析的資料點篩選。 這反映在問題列表上方的預設篩選設定中。 例如,在生成的答案品質區塊中選擇品質不佳欄中的無關欄位區段,即可將Irrelevant回答品質篩選器設定為 適用於所列問題。
如有需要,您可以在清單頁面執行以下操作:
問題清單視窗顯示以下內容:
| 資料行 | 描述 |
|---|---|
| 問 | 問題已提出。 |
| 已回答 | 生成式 AI 回應狀態:已回覆或未回答。 |
| 回應品質 | 抽樣問題的回答品質。 可能的值是 Poor 和 Good。 |
| 回應 | 豎起大拇指、豎下大拇指或不回應,並可選擇文字留言。 |
| 日期 | 問題得到回答的日期。 |
| 知識來源 | 代理人回應中引用的知識來源列表。 |
欲了解更多資訊,請選擇 「顯示任何問題的詳細資訊 」以開啟問題詳情側面板。 本小組提供關於每個問題回應品質的額外見解。
| 詳細的問題層級參數 | 描述 |
|---|---|
| 時間戳 | 回答問題的最近實例的時間戳記。 |
| 用戶查詢 | 問題已提出。 |
| 回應 | 生成式 AI 回應。 |
| 大拇指向上/大拇指向下的值 | 此問題最近一次提出時,其讚許/反對參數的值。 |
| 註解 | 選擇性額外文字留言 (由使用者提供),以及讚許/反對回應。 |
| 回應品質1 | 回應使用者查詢的回應品質如何的問題。 可能的值是 Poor 和 Good。 |
| 原因2 | 在回應品質為 Poor的情況下,此參數會說明原因。 |
1 回應品質並非一律可用,只有在對問題進行品質分析抽樣時才會顯示。
2 如果 [回應品質] 為 或 Good 問題未取樣,則不會指派 [原因] 參數任何值。
向下切入至工作階段
深入檢視會話,查看對指標有貢獻的特定會話,並檢視底層會話資料。 這個更深入的視角幫助你理解頂層客服指標背後 的原因 與 方式 ,並協助你識別與調查潛在問題。
利用會話清單分析代理表現,並透過檢視導致會話結果的會話層級資料進行調查(resolved, , escalatedabandoned, 或 unengaged)。 例如,依管道篩選,聚焦低CSAT會話,然後深入分析會話數據,了解該管道客戶為何可能有不良體驗。
若要向下切入至工作階段清單視窗:
- 從 對話成果 面板中,選擇 「查看會議 」以查看分析期間的所有會議。
- 從 對話結果 面板中,選擇 「查看詳情」。 這開啟了更多關於會話會議成果的指標側窗。 在任意高亮的指標圖中選取,即可查看篩選的會話清單。
會話清單會根據你深入分析的資料點來篩選。 這反映在會話列表中的預設過濾器設定中。 例如,在交談結果側邊窗格中,選擇已解決結果原因橫條圖標的已確認解決橫條區段會將交談結果與結果原因分別設定為已解決和已確認解決。
點擊任一會話即可顯示會話層級資料。 會話列表視窗可依 Time period、Session outcome、Outcome reason 及 Channel 來篩選。
注意
要查看會話,您必須擁有 機器人逐字稿查看器 的安全角色。
會話清單每日更新,顯示每天最多 10,000 次會話。 只有最後 28 天的遊戲記錄會被儲存並可供觀看。
會話視窗列表依以下參數排序:
| 詳細的會話層級參數 | 描述 |
|---|---|
| 開始時間 | 會話被啟動的時間戳記。 |
| Duration | 與客服人員的通話長度,以分鐘和秒數表示。 |
| Messages | 使用者與代理之間交換的訊息數量。 |
| 結果 | 這是與經紀人對話的結果。 可能的值為 Resolved、Escalated、Abandoned 或 Unengaged。 |
| 結果理由 | 說明工作階段結果發生原因 (例如「系統錯誤」或「已隱含解決」) 的其他內容。 |
| 頻道 | 對話進行的頻道,例如 Teams、Microsoft 365 Copilot 和 SharePoint。 |
| 客戶滿意度 | 根據使用者意見反應 (如果有) 而定的工作階段客戶滿意度 (CSAT) 評等。 |
工具使用
[工具使用] 區段會顯示圖表和計量,可追蹤工具在一段時間內啟動的頻率,以及代理程式成功使用這些工具的頻率。 它還顯示了您的 Agent 使用每種工具的頻率,以及成功使用呼叫工具的百分比趨勢指標。
此圖表會顯示在 [分析 ] 頁面頂端定義的日期期間內所使用的前五個工具。
在圖表下方的圖例中,將滑鼠移到任一工具上,即可在圖表中突出該工具。
若要開啟側邊面板,其中包含指定時段內使用的所有工具清單,以及趨勢指標,請選取圖表上的 [查看詳細數據 ]。 在工具使用面板中,可顯示各工具所處理問題比例的計算結果。 若您的 Agent 有子 Agent,可選擇同時顯示主 Agent 與子 Agent (全部)、僅顯示主 Agent,或僅顯示子 Agent 的計算結果。
有效性
成效區段顯示的是一個會話中從用戶反應、客服回應、調查結果及情緒分數中收集的回饋。 滿意度分為多個子類別:
- 反應:用戶回應,包括對特定客服代理回應的喜歡/不喜歡反饋及用戶評論。
- 顧客滿意度:顯示客戶滿意度(CSAT)分數。
- 情緒 (預覽版):整個工作階段以 AI 為基礎的情感分析。
意見反應資料儲存在 Dataverse 的交談文字記錄資料表中。 如需支援此功能的頻道清單,請參閱功能詳細資料。
回應
反應區段顯示從 Agent 回應及工作階段調查結果收集的使用者意見反應。 圖表會統計使用者對每個從您的 Agent 收到的回應,所選取的「讚許」(正面) 或「反對」(負面) 按鈕的次數。
使用者提供反應後,可留下評論。 若要檢視註解,請選取 [ 查看詳細資料]。 在 反應留言 面板中,選擇 全部、按讚或 不喜歡 來篩選留言。
注意
- 發佈到 Microsoft 365 Copilot 通道的代理程式不支援反應。
- 要檢視評論,您必須擁有Bot Transcript Viewer安全角色。
欲檢視各反應對應的使用者查詢與 Agent 回應,請點選評論旁的切換按鈕。 「分析」頁面最多可儲存使用者查詢和客服專員回應 28 天。
使用者意見反應預設為 開啟。 如果需要,您可以關閉此功能。 您也可以新增或編輯有關如何使用其意見反應的免責聲明:
開啟代理程式,然後移至 [ 設定],然後尋找 [使用者意見反應 ] 區段。
開啟 [讓使用者在使用此代理程序開啟或關閉時提供意見反應]。
新增或編輯免責聲明,以便使用者知道他們的意見反應是如何使用的。 您也可以提供隱私資訊和提示。
客戶滿意度
客戶滿意度區塊顯示基於用戶調查結果的用戶滿意度資訊:
滿意度分數:根據用戶回應會話結束時詢問問卷的會話平均客戶滿意度(CSAT)分數計算出的 5 分滿分。
注意
1和2的分數對應到不滿意,分數3視為普通,分數4和5對應到滿意。依工作階段區分的滿意度:堆疊橫條圖,視覺化呈現問卷中各分數類別的相對權重,分別為
Dissatisfied、Neutral和Satisfied。 將滑鼠移到圖表的每個區段上,即可查看樣本大小及各分數類別權重的數值。
選擇「 查看詳情 」以查看所選期間內的滿意度分數趨勢。
Sentiment(預覽)
情感分析利用 AI 分析從多個會話中抽樣的用戶訊息,評估整體對客服的用戶情緒。 數值代表負面用戶情緒的會話百分比。
選擇「 查看詳情 」以查看各情緒類別(分別為 Positive、 Neutral、 Negative和 )的相對權重資料。