会話エージェントの分析

Copilot Studio の分析ページでは、分析セッション全体におけるエージェントの総合的な効果に関する集計分析情報を提供します。 このページは、異なるパフォーマンスのコンテキストに焦点を当てたコア領域に分割されています。 このページには、エージェントの主要業績評価指標 (KPI) を概観する概要エリア、エージェントまたはそのツールによる時間とコストの節約効果を分析する節約エリア、およびエージェントのパフォーマンスに関する主要な分析情報を提供する要約エリアが表示されます。

会話型エージェントの効果性を検証、改善する際には、以下の 4 つのコア セクションに焦点を当てる必要があります:

• サマリー、概要、および保存セクションでは、エージェントに関する重要な分析インサイトと請求・コスト削減の統計が表示されます。各セクションの詳細については、サマリー、概要、および保存をご参照ください。
• カスタム メトリックセクションでは、エージェントのユース ケースに合わせたビジネス特有の指標を定義できます。
• 効果性セクションは、会話が成功する場所、どこでうまくいかないか、そしてユーザーが成果についてどう感じているかを表示することで、ユーザー体験の質を評価するのに役立ちます。
• 使用セクションでは、エージェントの質問への回答精度や、ツールやサポート情報ソースによる回答の信頼性、ターゲットを絞ったアップデートがどこでカバレッジや一貫性を高めるかを可視化し、運用効率の向上に役立ちます。

過去 360 日間に発生したイベントの分析を表示できます。

カスタム メトリック

カスタム メトリック セクションでは、自然言語で最大 3 つのビジネス特有メトリクスを定義し、各結果がサンプル セッションでどれだけ頻繁に現れるかを追跡できます。 これらの指標を活用し、標準的な分析インサイトに加えて、エージェントの目標やビジネス利用を反映した指標を提示しましょう。 カスタム メトリックの作成、テスト、調整方法については、カスタム メトリックでエージェントを分析するをご参照ください。

有効性

有効性セクションには、セッションの汎用、エージェントの応答、アンケート結果、およびセンチメント スコアから収集されたフィードバックが表示されます。 有効性は複数のセクションに分かれています。

• 会話の結果: 会話の最終結果を知ることで、エージェントが成功している点と改善が必要な点を特定するのに役立ちます。
• 反応: ユーザー応答 (サムズアップ/サムズダウンのフィードバックや、特定のエージェント応答に対するユーザー コメントなど)。
• 顧客満足度: 顧客満足度 (CSAT) スコアの表示。
• センチメント (プレビュー): セッション全体を対象とした AI ベースの感情分析。
• エージェント: 子エージェントと接続済みエージェントの通話量指標、成功率、現在のステータスを確認します。

フィードバック データは、Dataverse の会話トランスクリプト テーブルに格納されます。 この機能をサポートするチャネルの一覧については、機能の詳細を参照してください。

会話の結果

会話の結果 セクションには、エージェントとユーザー間の各セッションにおける結果の種類を追跡するグラフが表示されます。

グラフは、積み上げヒストグラムまたは積み上げ面グラフのいずれとして表示されるかに関係なく、色分けされ、種類別に積み上げられた結果の相対的な量を視覚化します。 解決済み、エスカレーション済み、破棄済み、および エンゲージメントなし はそれぞれ、各データ ポイントのそれぞれの色で表されます。 y 軸はセッション数を示します。

1 つのデータ ポイント (特定の日) に固有の個々の結果に関するメトリックを表示するには、関心のある日に関心のある結果の色 (たとえば、破棄された場合) を表す領域にカーソルを合わせます。

会話結果データ (グラフで可視化されたデータ) をダウンロードするには、メニュー アイコン を選択し、CSV のダウンロードを選択します。

紙幣

ダウンロード時にグラフから結果を削除した場合、そのデータは CSV に表示されません。

会話の結果に関する詳細情報を含むサイド パネルを開くには、グラフで 詳細を表示 を選択します。 会話の結果 サイド パネルには次のものが含まれます。

• セッション の結果の円グラフの内訳。解決済み、エスカレーション済み、および破棄済み 結果の相対的な重み付け (パーセント表示) を示しています。
• 解決されたすべてのセッション結果を説明する、解決済み確認済み と 暗黙的解決済み の結果の理由の、相対的な重み付け (パーセント表示) を示す積み上げ横棒グラフです。
• エスカレーションされたすべてのセッション結果を説明する、システムが意図した、システムが意図しない、および ユーザーが要求した 結果の理由の、相対的な重み付け (パーセント表示) を示す積み上げ横棒グラフです。
• 各結果につながった上位のトピック。

紙幣

生のカウント情報を含むヒントを表示するには、円グラフまたは積み上げ横棒グラフセグメントのいずれかにカーソルを合わせます。

セッション は、次の 2 つの状態のいずれかになります。

• エンゲージメントなし: ユーザーがエージェントと対話するか、エージェントがユーザーにプロアクティブ メッセージを送信すると、セッションが開始されます。 セッションは 従事していない 状態で始まります。

• エンゲージ: ユーザーはエージェントとアクティブに対話します。 エージェントのオーケストレーション モードに基づいて、動作に違いが生じます。

  • クラシック オーケストレーション: セッションは、以下のいずれかのトピックがトリガーされたときにエンゲージされます。

    • ユーザーが直接トリガーするカスタム トピック
    • エスカレート トピック
    • フォールバック トピック
    • 会話ブースティングのトピック

  • 生成 AI オーケストレーション: セッションは、ユーザーが直接プランをトリガーし、以下の要素のいずれかを含む場合に開始されます。

    • 非システム トピック
    • エスカレート トピック
    • フォールバック トピック
    • サポート情報ソース
    • ツール

エンゲージメント セッションには、次のいずれかの結果があります。

結果カテゴリ	結果	内容
解決済		セッションは正常に終了します。 解決済みセッションには、解決済み確認済みと暗黙的解決済みの 2 種類あります。
	解決済み確認済み	セッションは、会話の終了 トピックがトリガーされ、ユーザーが対話が成功したことを確認した時点で 解決済み確認済み と見なされます。
	暗黙的解決済み	セッションは、ユーザーによる確認なしに、代わりにエージェントのロジックに基づいて完了した場合に、暗黙的解決済み と見なされます。 暗黙的解決済みの状態は、エージェントがクラシック AI オーケストレーションと生成 AI オーケストレーションのどちらを使用するかによって異なります: - クラシック オーケストレーション: セッションは、会話の終了 トピックがトリガーされ、ユーザーが確認を提供せずにセッション タイムアウトを許容した場合に、暗黙的解決済み と見なされます。 - 生成 AI オーケストレーション: セッションは、セッションがタイムアウトし、アクティブなプランが残っていない場合に、暗黙的に解決済み と見なされます。 アクティブなプランは、ユーザーの入力を待機しているプランです。
エスカレーション済み		エスカレーション トピックがトリガーされるか、エージェントに転送 ノードが実行されると、セッションは終了し、エスカレート済みと見なされます (会話がライブ チャット オペレーターに転送されるかどうかに関係なく、現在の分析セッションは終了します)。 エスカレーションされたセッションには、 システムが意図した、 システムが意図しない、およびユーザーが要求した の 3 種類があります。
	システムが意図した	作成者によって設定された自動ビジネス ルールの結果として、セッションが自動的にエスカレートされます。 エスカレーションは会話の予想される結果であり、検査や変更が必要なものではありません。 例: ユーザーが 25,000 ドルを超える情報をサード パーティに転送する。 この量がビジネス ルールのしきい値を超えると、結果としてセッションが自動的にエスカレートされます。
	システムが意図しない	エスカレーションは、セッションが作成者によって設定された 1 つ以上のしきい値を超えた結果として自動的に発生します。 通常、この結果は、ユーザーが会話でスタックしており、支援が必要であることを示します。 例: セッションが特定のタスクを実行するために 3 回失敗した後にエスカレートされる。
	ユーザーが要求した	会話中に明示的なユーザー要求があったため、セッションはエスカレートされます。 例: ユーザーが Transfer me to an agent を入力する。
破棄済み		実行中のセッションが 30 分後にタイムアウトし、解決済みまたはエスカレーション済み状態に到達しなかった場合、セッションは終了し、放棄済み と見なされます。

ツール コード エディターを使用して、conversationOutcome パラメーターを使用してツールの結果を設定することもできます。 たとえば、確認された成功の場合は conversationOutcome: ResolvedConfirmed、暗黙の成功の場合は conversationOutcome: ResolvedImplied です。

エンゲージメントを測定および改善する方法に関する提案とベスト プラクティスについては、エンゲージメントの測定に関するガイダンス ドキュメント を参照してください。

反応

反応セクションでは、エージェントの応答に対する反応から収集されたユーザー フィードバックが表示されます。 このグラフは、ユーザーがエージェントから受け取った各回答に対して、サムアップ (肯定的) ボタンまたはサムダウン (否定的) ボタンのいずれかを選択した回数をカウントしています。

紙幣

• Microsoft 365 Copilot チャネルに公開されたエージェントは、反応をサポートしていません。
• コメントを表示するには、ボット トランスクリプト ビューアー セキュリティ ロールが必要です。

反応機能は既定でオンです。 必要に応じて、この機能をオフにすることができます。 ユーザーのフィードバックの使用に関する免責事項を追加または編集することもできます。

1. エージェントを開いて、設定 に移動して ユーザー フィードバック セクションでバージョン番号を確認します。

2. エージェント メッセージへのユーザー反応の収集をオンまたはオフに切り替えてください。

3. 利用規約を追加または編集して、ユーザーがフィードバックの使用方法を確認できるようにします。 プライバシー情報とヒントを提供することもできます。

Bot Transcript Viewer 権限を持つユーザーは、個別の反応に対するエージェントの応答にドリルダウンし、ユーザー コメントでフィルターできます。

反応の傾向を時系列で表示します

詳細を見るを反応タイルで選択すると、反応サイド パネルが表示されます。 このグラフは、サムアップとサムダウンによる肯定的、否定的な反応が、時間の経過とともにどのように推移しているかを示しています。

顧客満足度

顧客満足度セクションでは、ユーザー アンケート結果に基づくユーザー満足度の情報を表示します。

• 満足度スコア: セッション終了時のアンケート回答に応じたセッションの平均顧客満足度 (CSAT) スコアから、5 点満点で計算されます。

  紙幣

  1 および 2 のスコアは不満に、3 のスコアは中立に、4 および 5 の数値は満足にマッピングされます。

• セッションごとの満足度: アンケートの各スコア カテゴリ (Dissatisfied、Neutral、Satisfied) の相対的な重み付けを示す縦棒グラフグラフです。 グラフの各セグメントにカーソルを合わせると、サンプルのサイズと各スコア カテゴリの重み付けの数値が表示されます。 ボット トランスクリプト視聴者権限を持つユーザーは、顧客セッションの一覧にドリルダウンできます。選択した棒セグメントに応じてフィルタリングされます。

詳細を表示するを選択して、選択された期間における満足度スコアの傾向を確認します。

センチメント (プレビュー)

[このセクションはプレリリース ドキュメントであり、変更されることがあります。]

感情分析は、AI を使用してセッションのサンプル内のユーザー メッセージを分析し、エージェントに対する全体的なユーザー センチメントを評価します。 数値は、ネガティブなユーザー センチメントを持つセッションの割合を表しています。

重要

この記事には Microsoft Copilot Studio プレビュー ドキュメントが含まれ、変更される可能性があります。

プレビュー機能は運用環境での使用を想定しておらず、機能が制限される可能性があります。 これらの機能は公式リリースの前に使用できるため、一足先にアクセスして フィードバックを送る ことができます。

運用に対応したエージェントを構築する場合は Microsoft Copilot Studio の概要 を参照してください。

詳細を見るを選択すると、各センチメント カテゴリ (Positive、Neutral、Negative) の相対的な重み付けのセンチメント データを表示できます。

エージェントの感情分析は、設定から有効化または無効化できます。 感情分析がオフの場合、セッション中にユーザーのセンチメントは分析されません。

1. 設定に移動し、詳細に移動します。

2. 感情分析の有効/無効を切り替えます。

   

エージェント

エージェント一覧には、メイン エージェントの接続済みエージェントおよび子エージェントに関する、高レベルのボリューム、パフォーマンス、ステータス指標が表示されます。 一覧では、種類列において、記載されたエージェントがメインエージェントと持つ関係の種類を識別します。 エージェントが子エージェントの場合、その種類は Child となります。 接続されたエージェントには、作成された場所 (Copilot Studio、Azure AI Foundryなど) を反映する一覧の種類があります。 各リストされたエージェントの通話 メトリクスは、メイン エージェントから接続済みまたは子エージェントへの通話量を表します。 成功率は、正常に完了した通話の割合 (すべての通話の割合) を反映します。 状態は、接続されているエージェントと子エージェントごとの個々の管理状態を示します。

既定では、エージェントの一覧にはメイン エージェントの接続済み子エージェント上位 5 件が表示され、質問総数の多い順にランク付けされます。 5 つ以上のエージェントがある場合は、すべて表示するを選択してすべてのエージェントを表示します。

紙幣

すべて表示ボタンは、メイン エージェントに接続されているエージェントまたは子エージェントが 5 つ以上存在する場合にのみ表示されます。

使用する

使用セクションは、ユーザーがエージェントとどのようにやり取りしているか、またどこで回答の信頼性を向上させるべきかを理解するのに役立ちます。 [使用] は多くのサブセクションに分かれています。

• テーマ: テーマは、ユーザーの質問を AI が提案するカテゴリに分類することで、Analytics Insights を得るのに役立ちます。
• 生成された回答率と品質: エージェントがユーザーの質問に回答するのに苦労するタイミングや、サポート情報ソースをどのように使用しているかを理解することで、エージェントの回答率と品質を向上させる方法を見つけることができます。
• ツールの使用: ツールがどのくらいの頻度で使用され、どのくらいの頻度で成功しているかを学ぶことで、それらのツールがユーザーにとって有用で成功しているかどうかを理解することができます。
• サポート情報ソースの使用: 個々のサポート情報ソースを使用する頻度と、エージェントがエラーを返した頻度を学習すると、エージェントの回答の質とカバレッジが改善します。

生成された回答の評価と品質

生成応答では、エージェントは AI を使用して、サポート情報ソースと提供された指示に基づいて、ユーザーの質問に対する回答を生成できます。 ただし、エージェントがすべてのユーザー クエリに応答できない場合があります。 生成された回答率と品質セクションでは、未回答の問い合わせと回答品質を追跡・整理・分析し、エージェントの回答パフォーマンス向上に向けた指針を提供します。

回答率は、選択した期間内の回答済みおよび未回答の質問数を示し、時間の経過に伴う変化率 (パーセンテージ) を示します。

回答の品質では、AI を使用して回答の品質を測定します。 Copilot Studio は、回答済み質問のサンプルセットを分析し、回答の完全性、関連性、根拠の程度など、さまざまな品質を評価します。 回答が設定された基準を満たす場合、Copilot Studio はその回答を良いと評価します。 Copilot Studio は、この基準を満たさない回答を低いとラベル付けします。 質の低い回答に対しては、Copilot Studio が品質評価の理由を割り当て、各カテゴリに分類された回答の割合を表示します。

グラフ内の棒グラフの任意のセグメントにカーソルを合わせると、良い または 悪い 品質ラベルの個々の理由の相対的な重みが表示されます。 ヒントには、計算されたパーセント値に到達するためにサンプリングされた回答の数も示されます。

グラフの下の凡例で、いずれかの品質ラベル理由にカーソルを合わせると、グラフ内でその理由が強調表示されます。

縦棒グラフの一部を選択すると、応答の質でフィルタリングされたユーザーの質問ページが開きます。 質問を見るを選択して、設定された時間内にすべての質問のフィルターなしリストを見るを選びます。

ツールの使用

ツールの使用状況セクションでは、ツールが起動される頻度を時間軸で追跡するグラフと指標、エージェントがそれらのツールを正常に使用した頻度が表示されます。 また、エージェントが各ツールを使用する頻度を示す傾向指標と、呼び出されたツールのうち正常に使用された割合も表示します。

このグラフは、分析ページ上部に定義された期間において使用された上位 5 つのツールを表示しています。

グラフの下の凡例で、いずれかのツールにカーソルを合わせると、グラフ内でそのツールが強調表示されます。

指定した期間に使用されたすべてのツールの一覧とトレンド指標を表示するサイドパネルを開くには、チャート上の詳細を表示を選択します。 ツール使用状況パネルでは、各ツールで使用された問題の割合の計算結果を表示できます。 エージェントに子エージェントがある場合、メインエージェントと子エージェントの両方 (すべて)、メイン エージェントのみ、または子エージェントのみの計算結果を表示するように選択できます。

サポート情報ソースの使用

サポート情報ソースの利用セクションは、エージェントがどのようにサポート情報ソースを利用しているか、またそれらのサポート情報ソースがどれくらいの頻度でエラーを返すかについての分析情報を提供します。 利用可能な指標、フィルター機能、ドリルダウン機能の詳細については、サポート情報ソースの利用をご参照ください。