Copilot Studioでagentのパフォーマンスを監視

Note

本記事では 、標準ハーネスで駆動されるエージェントやエージェントフローで使用される機能について説明します。

分析を使用して、エージェントのパフォーマンスを把握し、改善が必要な領域を特定します。

Copilot StudioのMonitorページは、主要な指標をまとめ、エージェントのコンポーネントの使用状況分析を提供します。 個々のメトリクスを開いて基になるデータを確認しましょう。

モニターの体験は 、会話型エージェント と 自律型エージェント向けにカスタマイズされています。

モニタリングはすべての地域で利用可能です。 モニターデータは最大360日間利用可能です。 セッションの詳細とトランスクリプト情報は、過去 28 日間利用できます。 分析における時刻と日付のスタンプは協調ユニバーサル時(UTC)で表されます。 時間と日付のスタンプには、日の開始・終了時刻、セッション時間、そしてエージェントのデータにあるその他のタイムマーカーが含まれます。

Note

モニターページには、Copilot Studioでテストパネルを使ってエージェントをテストした際のアクティビティの分析表示がありません。

分析への制限付きビューのみのアクセス権を付与する

エージェントの所有者であれば、Analytics Viewer の共有ロールでエージェントを共有し、Monitor ページのみにアクセスできるようにしてください。 会話の書き起こし情報にアクセスするには、 ボットトランスクリプトビューアー のセキュリティ役割も持っている必要があります。

詳しくは「エージェントの分析を共有する」をご覧ください。

Important

エージェントの所有者は、Analytics ビューアーロールを個人とのみ共有でき、ユーザーのグループと共有することはできません。

エージェントの モニター ページにアクセスするには:

  1. Copilot Studio でエージェントを開きます。
  2. メニュー上部バーで 「モニター 」を選択してください。

Summary

[概要] 領域では、Copilot を使用して、エージェントに関する主要な分析情報の AI 概要を生成します。 詳細 を表示 を選択して、分析情報の完全な概要一覧を表示します。

Copilot Studioのモニターページのスクリーンショットで、拡張されたサマリーカードが示されています。

これは、一般的なテーマとメトリックをすばやく理解し、選択したレポート期間の箇条書きリストにまとめることで、エージェントの改善点を特定するのに役立ちます。 このリストにはエンゲージメント指標、顧客の感情とフィードバック、直近の報告期間以降のトレンドが含まれます。

顧客コメントの概要(プレビュー)

[このセクションはプレリリース ドキュメントであり、変更されることがあります。]

顧客コメントの要約は、フィードバックやコメントからエージェントに対する顧客の全体的な感情を理解するのに役立ちます。 分析情報は、関連するコメントの量とその全体的な重要性の両方に基づいて優先順位が付けられます。 要約は価値の低いコメントや無関係なコメントを除外し、関連するフィードバックをまとめて集めます。

Important

この記事には、Microsoft Copilot Studio のプレビュー ドキュメントが含まれており、変更される可能性があります。

プレビュー機能は運用環境での使用を想定しておらず、機能が制限される可能性があります。 これらの機能は公式リリースの前に利用できるため、早期にアクセスして フィードバックを提供できます。

運用対応エージェントを構築する場合は、 Microsoft Copilot Studio の概要を参照してください。

このセクションについてMicrosoftにフィードバックを提供するには、「サムズアップ」または「サムズダウン」を選択してください。 「Microsoftへのフィードバック提出」パネルを使ってコメントを追加し、関連ファイルを共有するかどうかを選びます。

  1. [ Microsoft にフィードバックを送信する] パネルで、パネルを開くために選択したアイコンに応じて、好きなものや嫌いなものを自然言語で説明します。
  2. プロンプト、生成された回答、関連するコンテンツサンプル、追加のログファイルを共有するかどうかを選択してください。
  3. 送信を選択します。

Overview

概要欄で高レベルのパフォーマンス概要を確認し、個別の指標をより詳しく探求してください。

アクティブなユーザー

アクティブユーザー指標は、会話型エージェントの採用状況と時間とともにどのように変化するかを示します。 アクティブ ユーザーは、レポートの期間中に少なくとも 1 回は会話エージェントと対話した一意のユーザーです。 モニターページには、日々アクティブユーザー(DAU)と月間アクティブユーザー(MAU)が表示されます。 この日々のカウントはUTCの24時間全体をカバーしています。 月次カウントはUTCの暦月に従います。

Important

アクティブ なユーザー メトリック機能は、設定>Security>Authentication で認証を要求するようにエージェントを設定した場合にのみサポートされます。

モニタータブのオーバーマスターセクションのスクリーンショットで、平均DAUがボックスに入り、詳細なアクティブユーザーパネルの選択が示されています。

選択した期間の平均 DAU と、前の期間からの変化率は、[ 概要 ] セクションに主要業績評価指標 (KPI) として表示されます。

Note

平均 DAU 計算メトリックの数式は、 (sum of all full-day active user counts in the period) / (count of full days in the period)です。

時間の経過に伴う日次および毎月のアクティブユーザー数の詳細を表示するには、概要パネルの右上隅にある [ アクティブなユーザーの表示 ] ボタンを選択します。

会話セッションのみ

Copilot Studio の会話エージェントのAnalytics は、エージェントとのユーザー エンゲージメントを追跡し、エージェントがユーザー タスクを処理する程度をキャプチャしようとします。

会話型分析では、次の概念と用語を使用します。

  • 会話とは 、チャンネル 内の特定のユーザー、または複数のユーザーグループとエージェントとの間で行われる継続的なやり取りです。

  • 会話は一時停止して後で再開することも、顧客サービス担当者に転送することもできます。 会話は一方通行で、顧客からエージェント、またはエージェントから顧客へのやり取りであることが多いですが、より一般的には顧客とエージェントの間でやり取りが行われます。

  • 非アクティブ状態が 30 分続くと、会話がタイムアウトになります。

  • Telephonyチャンネルに公開されたエージェントでは、End Conversation イベントの3分後に会話がタイムアウトします。

  • 1 つの会話には、1 つ以上の分析セッションを含めることができます。

  • 標準ハーネスで駆動される分析セッションは、ユーザーがトリガーした最後のカスタムトピックに関連付けられます。 セッションにカスタムトピックが含まれていなければ、ユーザーが直接トリガーする最後のシステムトピックとなります。

イベント トリガー セッションのみ

自律型エージェントは、イベント・トリガーを持つエージェントです。 これらのエージェントは、 トリガーを持つエージェントの分析のみをサポートします。

トリガーによるエージェントの 分析セッション では、エージェントがトリガーからペイロードを受信したときから、エージェントが応答して実行するアクションまでを追跡します。 これらの分析セッションは、エージェントが応答している内容と、エージェントのパフォーマンスをキャプチャします。

Note

トリガーが失敗し、エージェントがトリガーペイロードを受信しない場合、分析セッションを開始できません。 Analytics では、正常にトリガーされた実行のみが追跡されます。

ハイブリッド ビュー - 会話型セッションとイベントトリガー セッションの両方

エージェントのデータに少なくとも1回の会話のセッションと、レポート期間内のトリガーベースの実行が含まれている場合、 モニター ページは会話セッションと自律セッションの両方の関連指標の ハイブリッド ビューを表示します。 このビューでは、 概要 と 効果 のセクションが会話セッションとイベントトリガーセッションの両方の指標を並べて示しています。 [ 使用 ] セクションでは、関連するデータのみを表示する 会話 または 実行を選択できます。 [すべて] を選択すると、すべての使用関連データが表示されます。 [満足度] セクションには、会話セッションの満足度メトリックが表示されます。

詳細については、以下を参照してください。

会話のトランスクリプトをダウンロードする

Copilot Studioで過去28日以内のセッショントランスクリプトをダウンロードできます。 分析セッション終了後、関連するデータが分析ダッシュボードに表示されるまでに最大1時間かかることがあります。 利用可能状況、権限、ダウンロード手順については、Copilot Studio で会話のトランスクリプトをダウンロードするを参照してください。

Dataverseのトランスクリプト保持は、Copilot Studioの28日間のセッションデータウィンドウとは別に行われます。 詳細については、Power Apps で会話の文字起こしをダウンロードするを参照してください。

トピックの使用状況分析

Copilot Studioでは、トピックはエージェントの会話の進行状況を定義し、ユーザーとエージェントの間の会話の一部を表します。 トピックモニターペインは、個々のトピックのパフォーマンス、トリガー頻度、それを含むセッションでの解決状況、ユーザーの満足度などを示します。 これらの洞察を活用して、頻繁にエスカレートしたり放棄されたりするトピックを特定し、改善の優先順位をつけましょう。 詳細については、 トピックの作成と編集に関するページを参照してください。

Note

トピックモニターは、標準ハーネスで動作するエージェントおよび セッションに関連するトピックにのみ利用可能です。 もしエージェントが生成オーケストレーションを使用している場合は、代わりにMonitorページで会話結果やテーマを使いましょう。

トピックを見るには、モニターパネルをご覧ください:

  1. Copilot Studioのエージェントのトピックページにアクセスしてください。

  2. 分析するトピックを選択します。 使用できるトピックがない場合は、「 トピックの作成と編集」を参照してください。

  3. トピックページの右上で「More (...)」を選択してください>監視してください。

トピックの「その他」メニューのスクリーンショットで、［監視］オプションがハイライトされています。

モニターパネルのトピックは以下の通りです:

  • トピックの結果: このトピックがトリガーされた セッションのセッションの結果、 Escalated、 Resolved、および Abandonedのグラフ。 このグラフを使用して、トピックの正常性をすばやく評価します。 EscalatedまたはAbandoned結果の割合が高いと、トピックの改善が必要な場合があります。
  • トピックの使用の合計: トピックの結果の時間経過に伴う傾向のグラフ。 これを使用して、回帰 (たとえば、トピックの編集後に破棄されたセッションの急増) を検出したり、最近の変更によって解決率が向上したことを確認したりします。
  • 顧客満足度スコア: このトピックに関連付けられているセッションからのユーザーアンケートの回答に基づくスコア。
  • 満足度スコアの傾向: 時間の経過に伴う 満足度スコア の変化を示すグラフ。 この傾向を使用して、ユーザーのセンチメントが低下または改善された期間を特定します。

時間範囲を変更するには、トピックのモニターパネル上部にある時間帯ドロップダウンを選択してください。

AI エージェントの投資収益率 (ROI) とビジネス価値を測定する

  • 最終更新: