会話型エージェントの有効性を分析する

2025-06-27

[この記事はプレリリースドキュメントであり、変更されることがあります。]

Copilot Studio の分析ページは、分析セッション全体のエージェントの全体的な有効性に関する集計分析情報を提供します。

エージェントの有効性をレビューおよび改善する際に焦点を当てるべき4つの主要な領域があります。

成果とエンゲージメント: 会話の最終結果を知ることで、エージェントが成功している点と改善が必要な点を特定することができます。
回答率と品質: エージェントがユーザーの質問に対する回答を提供するのに苦労する場合や、エージェントがナレッジソースを使用する方法を理解することは、エージェントの回答率と品質を向上させる方法を見つけるのに役立ちます。
ツールの使用: ツールが使用される頻度と、ツールが成功する頻度を学習すると、それらのツールがユーザーにとって役立ち、成功しているかどうかを理解するのに役立ちます。
満足度: ユーザーフィードバックを確認すると、新しいユーザーシナリオと問題を特定し、ユーザーが求めている内容に基づいて直接改善を行うことができます。

過去 90 日間に発生したイベントの分析を表示できます。

結果とエンゲージメント

成果とエンゲージメント セクションには、エージェントとユーザー間の各セッションの結果の種類を追跡するグラフが表示されます。

セッション結果の円グラフ内訳と、各結果につながった上位トピックを含むサイドパネルを開くには、グラフで 詳細の表示 を選択します。

セッションは、次の 2 つの状態のいずれかになります。

未従事: セッションは、ユーザーがエージェントと対話したとき、またはエージェントがユーザーにプロアクティブメッセージを送信したときに開始されます。セッションは 従事していない 状態で始まります。
関与: セッションが関与になるのは、次のいずれかが発生した場合です。
- 非システムトピックがトリガーされる
- セッションはエスカレーション済みです
- フォールバックトピックがトリガーされます
- 会話ブースティングトピックがトリガーされます

セッションが従事の状態になると、その状態は継続されます。関与したセッションには、次のいずれかの結果があります。

エスカレート: エスカレート トピックがトリガーされたとき、または エージェントへの転送 ノードが実行されたとき (会話がライブエージェントに転送されたかどうかに関係なく、現在の分析セッションが終了する) に、セッションが終了し、エスカレート されたと見なされます。
解決済み: セッションは、会話の終了 トピックがトリガーされ、対話が成功したりセッションがタイムアウトになったとユーザーが確認したときに、解決されます。
放棄: 従事中のセッションが 36 分後にタイムアウトし解決済みまたはエスカレーションされた状態に達しなかった場合、セッションは終了し、放棄された と見なされます。

ツールコードエディターを使用して、 conversationOutcome パラメーターを使用してツールの結果を設定することもできます。たとえば、確認された成功の場合は conversationOutcome: ResolvedConfirmed、暗黙の成功の場合は conversationOutcome: ResolvedImplied です。

エンゲージメントを測定および改善する方法に関する提案とベストプラクティスについては、ガイダンスドキュメントコパイロットエンゲージメントの測定を参照してください。

回答率と品質 (プレビュー)

Von Bedeutung

この記事には Microsoft Copilot Studio プレビュードキュメントが含まれ、変更される可能性があります。

プレビュー機能は運用環境向けではなく、機能が制限されている可能性があります。これらの機能は公式リリースの前に使用できるため、一足先にアクセスしてフィードバックを送ることができます。

運用に対応したエージェントを構築する場合は Microsoft Copilot Studio の概要を参照してください。

生成的な回答を使用すると、エージェントは AI を使用して、ナレッジソースと指定した手順を使用してユーザークエリに対する回答を生成できます。ただし、エージェントがすべてのユーザークエリに応答できない場合があります。 回答率と品質セクションでは、応答されていないクエリと回答の品質を追跡、整理、分析して、エージェントの応答パフォーマンスを向上させるためのガイダンスを提供します。

回答率と品質セクション。

回答率には、選択した期間内の回答および未回答の質問の数と、時間の経過に伴う割合の変化が表示されます。

回答の品質 は、AI を使用して回答の品質を測定します。 Copilot Studio は、回答された質問のサンプルセットを調べて、応答の完全性、関連性、根拠のレベルなど、さまざまな品質を分析します。回答が一定の標準を満たしている場合、Copilot Studio は回答を良い品質としてラベル付けします。 Copilot Studio では、その標準を満たしていない回答に 品質の低い ラベルが付けられます。 低回答の場合、Copilot Studio は品質評価の理由を割り当て、各カテゴリに割り当てられた回答の割合を示します。

[ 詳細を表示] を選択すると、選択した期間の質問回答率、ナレッジソースの使用状況、エラー率を含むサイドパネルが開きます。これらのグラフを使用して、どのナレッジソースがユーザーに役立つか、どのナレッジソースを改善の対象にするかを特定できます。

未回答の質問は、 エージェントがユーザークエリに応答しなかった理由を示しています。
ナレッジソースの使用 エージェントがアクセスできる各ナレッジソースを使用したセッションの割合を示します。
すべてのソース には、各ナレッジソースを使用した質問の割合が表示されます。
エラー は、ナレッジソースの種類 (SharePoint など) ごとにナレッジ関連のエラーが発生したクエリの割合を示します。

分析情報 (プレビュー)

分析では AI を使用して、エージェントがユーザークエリに応答する方法に関するカスタム分析情報を提供します。 Copilot Studio は、未回答のクエリを分析し、それらをテーマごとにグループにクラスター化した後、各グループのパフォーマンスを向上させるアクションに基づいてコンテキスト分析情報を生成します。 Copilot Studio は、過去 7 日間のすべての未回答のユーザークエリを使用して、この分析情報の種類のクラスターを毎日生成します。上位 5 つの分析情報を表示できます。

[分析情報] ボタンの場所を示すスクリーンショット。

[回答率と品質] セクションで [分析情報] を選択します。
分析情報を切り替えるには、 < 矢印と > 矢印を使用します。
引用文献を選択すると、分析情報の詳細が表示されます。

[ 会話情報の取得 ] を選択して、未回答のユーザークエリが表示される会話 ID の CSV リストをダウンロードすることもできます。

ツールの使用

[ ツールの使用 ] セクションには、ツールが時間の経過と同時に開始される頻度と、エージェントがそれらのツールを正常に使用した頻度を追跡するグラフとメトリックが表示されます。また、エージェントが各ツールを使用する頻度と、呼び出されたツールが正常に使用された割合の傾向インジケーターも表示されます。

このグラフには、 Analytics ページの上部で定義された期間に使用された上位 5 つのツールが表示されます。

指定した期間に使用されたすべてのツールの一覧と傾向インジケーターを含むサイドパネルを開くには、[グラフの 詳細を表示 ] を選択します。

ツールの使用状況グラフとメトリックのスクリーンショット。

満足度

[満足度] セクションには、セッションの反応からエージェントへの回答とアンケート結果に対して収集されたユーザーフィードバックが表示されます。満足度メトリックは、次の目的で使用できます。

テストチャット
デモ Web サイト
Teams と Microsoft 365 Copilot
カスタム Web サイト
Webchat SDK とテストチャット

ユーザーからのフィードバックは、既定でオンです。必要に応じて、この機能をオフにすることができます。また、フィードバックの使用方法に関するユーザー向けの免責事項を追加または編集することもできます。

エージェントを開いて、設定に移動して ユーザーフィードバック セクションでバージョン番号を確認します。
このエージェントを使用する時にユーザーがフィードバックを与える をオンまたはオフのいずれかにします。
免責事項を追加または編集して、フィードバックがどのように使用されるかをユーザーが把握できるようにします。また、プライバシー情報やヒントを提供することもできます。

反応

[リアクション] グラフでは、エージェントから受け取った各応答で、ユーザーがサムアップ (正) またはサムダウン (負) ボタンを選択した回数がカウントされます。

応答反応グラフ。

アンケート結果

アンケート結果 セクションは、顧客がセッション終了時のアンケート依頼に応じたセッションの顧客満足度 (CSAT) の平均スコアを示します。

顧客満足度を示すユーザーフィードバックグラフと指標のスクリーンショット。