新しいエージェント体験の 「モニター 」タブは、展開後のエージェントのパフォーマンスや活動を可視化できます。 会話セッションの追跡、分析の確認、エラーの特定、ユーザーがエージェントとどのようにやり取りしているかを理解するために活用しましょう。
注:
この記事の機能は、使用量に基づく請求にCopilot Creditsを用いるGitHub Copilotハーネスによって機能しています。 GitHub Copilotハーネスで動くエージェントの請求概要でCopilotクレジットについて詳しく学びましょう。
使用率に基づく請求は、エージェントの使用、構築、テスト、評価に適用されます。 これらの行動はCopilotクレジットを消費することがあります。
注:
モニタータブはエージェントを公開するまで利用できません。 公開するには 「公開」を選択してください。
何を監視できるか
モニタータブはエージェントのパフォーマンスを大まかに把握できます。 主要指標には、以下が含まれます。
- 会話セッション:エージェントが担当する会話の総数。
- ユーザーエンゲージメント:ユーザーがエージェントとどれだけ積極的にやり取りするか、メッセージ数やセッション時間などです。
- コストおよび請求の追跡:選択した期間のCopilotクレジット消費と節約見積もり。
- トータルリアクション:ユーザーの反応、特に親指を立てたり否定したりするフィードバックや、特定のエージェントの回答に対するコメントが含まれます。
- 応答の質:エージェントがユーザーの要求にどれだけ効果的に応答しているかを示す指標です。
ダッシュボードを時間範囲でフィルタリングし、最近の活動や長期的なトレンドに焦点を当てましょう。
まとめ
[概要] 領域では、Copilot を使用して、エージェントに関する主要な分析情報の AI 概要を生成します。 「 もっと見る」 をクリックすると、要縮された洞察の全リストを見ることができます。
選定された報告期間における共通のテーマ、主要な指標、改善点を素早く特定するのに役立ちます。 インサイトにはエンゲージメント指標、顧客の感情やフィードバック、前回の報告期間以降のトレンドなどが含まれます。
コストと課金
コストと請求の指標は、選択した期間に請求されたCopilotクレジットの数を示し、時間とコストの節約見積もりを提供します。
請求料金と管理について詳しくはこちらをご覧ください。
リアクション
リアクションセクションでは、エージェントの応答に対するユーザーフィードバックが表示されます。 このチャートは、ユーザーがエージェントからの回答ごとに親指を立てる(肯定的)または否定(否定)を選択する頻度をカウントしています。
エージェント機能
「能力」セクションでは、ユーザーがエージェントとどのようにやり取りし、回答の信頼性がどこで向上できるかを理解するのに役立ちます。 次の機能が含まれます。
- ツールの使用:セッション中にエージェントが呼び出したツール。
セッションの追跡
セッションリストにはエージェントとの個別の会話セッションが表示されます。 各セッションには以下が含まれます:
- ステータス:セッションが完了しているか、失敗しているか、進行中か。
- 持続時間:セッションの長さ。
- ユーザーメッセージ:交換されたメッセージの数。
- 使用ツール:セッション中にエージェントが呼び出したツール。
セッションを失敗、完了、進行中などのステータスでフィルタリングし、迅速に対応が必要なセッションを見つけます。
セッションを選択すると、ユーザーのメッセージ、エージェントの回答、ツール呼び出しや知識ソースの使用に関する詳細を含む完全な書き起こしを閲覧できます。
エラー監視
モニタータブは問題の特定と診断に役立ちます:
- セッションを 失敗 または 拒否 のステータスでフィルタリングし、問題のあるやり取りを見つけてください。
- セッションの記録を確認して、何が問題だったのか理解してください。
- ツールの接続状況と認証エラーを確認してください。
- 失敗したセッションのパターンを探し、設定の問題を示している可能性があります。
モニタータブの使い方に関するステップバイステップのガイダンスについては、「 エージェントを監視する」をご覧ください。
会話のトランスクリプトをダウンロードする
会話のタイムアウト数分後に会話の書き起こしをダウンロードできます。過去29日以内の任意の期間をダウンロードできます。 Power Apps ポータルを使用して Dataverse でダウンロードするか、Copilot Studio アプリを使用してセッション チャットのトランスクリプトとしてダウンロードできます。 分析セッション終了後、関連データがモニタータブに表示されるまでに最大1時間かかることがあります。
注:
Teams の Copilot Studio アプリの Dataverse で会話のトランスクリプトをダウンロードすることはできません。 Dataverse でトランスクリプトを確認してエクスポートするには、Copilot Studio Web アプリにサインアップする必要があります。 Copilot Studio アプリを使用して、セッション チャットのトランスクリプトをダウンロードできます。 詳細情報については、エージェント セッションのトランスクリプトのダウンロード を参照してください。