Copilot Studioのドリルダウン分析機能を使用して、エージェントとのユーザー操作に関する詳細な分析情報を得ることができます。 個々のユーザーの質問を調べて、応答の品質を理解し、知識のギャップを特定し、ユーザーがエージェントの応答にどのように反応したかを確認できます。 また、会話セッションにドリルダウンして、詳細なセッション データを調べたり、会話の結果を追跡したり、チャネル間のパフォーマンスを分析したりすることもできます。 エージェントに対するユーザーの応答を分析します。 これらの詳細ビューは、エージェントの主要なメトリックを推進する基になる要因を理解し、改善のための領域を特定するのに役立ちます。
ユーザーの質問の一覧を詳細に調べる
ドリルダウンして、メトリックとサポート コンテキストに貢献した特定の質問 (エージェントの応答方法、ユーザーの反応、関連するナレッジ ソースなど) を表示します。 このビューは、応答の品質に関するより良い分析情報を提供し、ナレッジ カバレッジの可能性のあるギャップを特定するのに役立ちます。
Important
リストとそのメトリックを表示するには、 Bot Transcript Viewer セキュリティ ロールが必要です。 管理者のみが、エージェントの共有時に ボット トランスクリプト ビューアー セキュリティ ロールを割り当てる ことで、このロールを付与することができます。
単一またはグループ環境でこのセキュリティ ロールを有効にするには、「 トランスクリプト設定を構成する方法」を参照してください。
現在、質問の一覧へのドリルダウンは、生成された回答率と品質、ナレッジ ソースの使用に関するメトリック パネルでサポートされています。
![[分析] タブの [生成された回答率と品質とナレッジ ソースの使用] パネルのスクリーンショット。](media/analytics-improve-agent-effectiveness/generated-answer-knowledge-source-panel.png)
質問ウィンドウの一覧にドリルダウンするには:
- [ 生成された回答率と品質 ] パネルで、[ 質問の表示] を選択します。
- [生成された回答率と品質] パネルで、上にマウス ポインターを合わせ、[良い] または [低] の回答バー セグメントを選択します。
- [生成された回答率と品質] パネルで、[回答済み] または [未回答] の質問の割合メトリックを選択します。
- [ナレッジ ソースの使用] パネルで、一覧表示されているソースのいずれかをクリックするか、[すべて表示] を選択して、エージェントで使用されているすべてのナレッジ ソースのページを開き、目的のソースを選択します。
ユーザーの質問リストは、ドリルダウンしたデータ ポイントに基づいてフィルター処理されます。 これは、質問リストの上の既定のフィルター設定に反映されます。 たとえば、[生成された回答の品質] タイルで [低品質] バーの不適切なバー セグメントを選択すると、一覧に表示されている質問に対して [応答品質] フィルターがIrrelevantに設定されます。
必要に応じて、リスト ページで次のアクションを実行できます。
- さらにフィルター処理を適用 して、リストのディメンション フィルターを使用して質問の一覧をさらに絞り込みます。
- 評価のテスト メソッドで定義した条件に従って、一覧表示されている質問を評価します。
- 一覧表示されている質問を .csv ファイルとしてダウンロードします。
- 個々の質問に固有の詳細情報を参照してください。
質問ウィンドウの一覧には、次のものが表示されます。
| コラム | 説明 |
|---|---|
| 質問 | 質問がされた。 |
| 答えた | 生成 AI 応答の状態: 回答済みまたは応答なし。 |
| 応答の品質 | サンプリングされた質問の応答品質。 設定可能な値は Poor および Good です。 |
| 反応 | 親指を立てるか、親指を下げるか、または反応をしないかを選び、必要に応じてテキストベースのコメントを追加することができます。 |
| 日付 | 質問が回答された日付。 |
| 知識源 | エージェントの応答で引用されたナレッジ ソースの一覧。 |
詳細については、[質問の 詳細を表示 ] を選択して、質問の詳細サイド パネルを開きます。 このパネルには、各質問に関連する応答品質に関する追加の分析情報が表示されます。
| 詳細な質問レベルのパラメーター | 説明 |
|---|---|
| タイム スタンプ | 質問が回答された最新のインスタンスのタイムスタンプ。 |
| ユーザー クエリ | 質問がされた。 |
| 応答 | 生成 AI 応答。 |
| 高評価/低評価の値 | Thumbs up/Thumbs down パラメーターに対するこの質問の最新のインスタンスの値。 |
| Comment | ユーザーが提供する、サムアップ/サムダウン の応答に加えて追加で入力可能なテキスト ベースのコメント。 |
| 応答品質1 | ユーザー クエリに対する応答の品質に関する質問に対する回答。 設定可能な値は Poor および Good です。 |
| 理由2 | 応答品質が Poor場合、このパラメーターはその理由を説明します。 |
1 応答品質は常に使用できるわけではありません。品質分析のために質問がサンプリングされた場合にのみ表示されます。
2 応答品質が Good の場合、または質問がサンプリングされなかった場合、Reason パラメーターには値が割り当てられません。
セッションを詳細に分析する
セッションにドリルダウンして、メトリックに貢献した特定のセッションを表示し、基になるセッション データを調べます。 このより深いビューは、最上位レベルのエージェント メトリックの背後にある 理由 と 方法 を理解するのに役立ち、潜在的な問題を特定して調査することができます。
セッションの一覧を使用してエージェントのパフォーマンスを分析し、セッションの結果 (resolved、 escalated、 abandoned、または unengaged) につながるセッション レベルのデータを調べることで調査します。 たとえば、チャネルでフィルター処理し、低 CSAT セッションに焦点を当て、セッション データを掘り下げ、それらのチャネルの顧客のエクスペリエンスが低下している理由を把握します。
セッションリストウィンドウにドリルダウンするには:
- [会話の結果] パネルで、[セッションの表示] を選択して、分析期間のすべてのセッションを表示します。
- [会話の結果] パネルで、[詳細を表示] を選択します。 これにより、会話セッションの結果に関するその他のメトリックのサイド ウィンドウが開きます。 強調表示されているメトリック プロットを選択して、セッションのフィルター一覧を表示します。
セッション一覧は、ドリルダウンしたデータ ポイントに基づいてフィルター処理されます。 これは、セッション一覧の上の既定のフィルター設定に反映されます。 たとえば、会話の結果 サイド ペインで、解決済み確認済みのバー セグメントを選択すると、セッションの結果と結果の理由がそれぞれ解決済みおよび解決済みの確認済みにセットされます。
必要に応じて、[*Sessions]\(セッション\) リスト ページでより多くのフィルター処理を適用して、リストのディメンション フィルターを使用してセッションのリストをさらに絞り込むことができます。 いずれかのセッションをクリックすると、セッショントランスクリプト ウィンドウが表示されます。
Note
セッションを表示するには、 Bot Transcript Viewer のセキュリティ ロールが必要です。
セッションの一覧は毎日更新され、1 日あたり最大 10,000 セッションが表示されます。 過去 28 日間のセッションのみが保存され、表示できます。
セッション ウィンドウの一覧は、次のパラメーターで並べ替えられます。
| 詳細なセッション レベルのパラメーター | 説明 |
|---|---|
| 開始時刻 | セッションが呼び出されたときのタイムスタンプ。 |
| 期間 | エージェントとの会話の長さ (分と秒で表示)。 |
| Messages | ユーザーとエージェントの間で交換されたメッセージの数。 |
| 結果 | エージェントの会話の結果。 可能性がある値は、Resolved、Escalated、Abandoned、もしくは Unengaged です。 |
| 結果の理由 | セッションの結果が発生した理由を説明する追加のコンテキスト (システム エラーや暗黙的な解決など)。 |
| チャネル | Teams、Microsoft 365 Copilot、SharePointなど、会話が行われたチャネル。 |
| CSAT（顧客満足度） | ユーザーフィードバックに基づくセッションの顧客満足度 (CSAT) 評価 (使用可能な場合)。 |
ユーザーのフィードバックと満足度を分析する
高レベルのメトリックに加えて、ユーザーフィードバックは、ユーザーが反応、コメント、アンケート結果、センチメント分析を通じてエージェントの応答をどのように認識するかについての直接的な洞察を提供します。 ユーザーのコメントや反応をドリルダウンすることで、ユーザーが特定のエージェントの応答について気に入ったり嫌ったりしたことを理解したり、ユーザーの満足度の傾向を特定したり、エージェントが優れている、または改善が必要な特定の領域を明らかにしたりできます。 これは、ユーザーのセンチメントを理解し、エージェントのパフォーマンスを継続的に改善するのに役立ちます。
コメントを詳しく見る
ユーザーが反応した後は、コメントを残すことができます。
[分析] ページで、ユーザーのコメントにドリルダウンするには、[リアクション] タイルの [
コメント] アイコンを選択します。
必要に応じて、[ コメント ] リスト ページで次のアクションを実行できます。
- さらにフィルター処理を適用 して、リストのディメンション フィルターを使用してユーザー コメントの一覧をさらに絞り込みます。
- 評価のテスト メソッドで定義した条件に従って、一覧表示されたコメントを評価します。
- 個々のコメントに固有の詳細情報を参照してください。
リアクションをドリルダウン
個々のユーザーの反応に寄与するエージェントの応答の一覧にドリルダウンするには、[ リアクション ] 円グラフで、 サムアップ または サムダウン 円セグメントのいずれかを選択します。 既定では、エージェントの応答の一覧 ( [リアクション ] リスト) は、ドリルダウンしたユーザーの反応に基づいてフィルター処理されます。
必要に応じて、[ リアクション ] リスト ページで次のアクションを実行できます。
- さらにフィルター処理を適用 して、リストのディメンション フィルターを使用して、エージェントの応答の一覧をさらに絞り込みます。
- 評価のテスト 方法で定義した条件に従って、一覧表示されているエージェントの応答を評価します。
- 個々のエージェントの応答に固有の詳細情報を参照してください。