エージェントのパフォーマンスを理解することは、ユーザー体験の向上やビジネス目標の達成に重要です。 Copilot Studioのエージェントには、組み込みの分析機能やKPIが含まれており、カスタム分析やレポートを作成するオプションも可能です。 これらの指標を定期的に見直し、ギャップを特定することで、エージェントのパフォーマンスを継続的に最適化できます。
エンゲージメント率の測定
会話型エージェントのエンゲージメント率は、分析セッションのうちどれだけの割合がエンゲージドと分類されているかを測ります。 ユーザーがエージェントとやり取りするか、エージェントがユーザーに最初のメッセージを送信した時点で、セッションは 非関与 状態で開始されます。 セッションはカスタムトピックがトリガーされたり、会話が次のシステムトピックのいずれかに入るとエン ゲージ メントされます:会話ブースティング、エスカレート、またはフォールバックのいずれかです。
高いエンゲージメント率は、エージェントがユーザーをトピックに導くことに成功していることを意味します。 エンゲージメント率が低い場合は、トピックカバレッジのギャップや、ユーザーがエージェントの能力について不明瞭であることを示します。 エージェントの分析ダッシュボードでエンゲージメント率を監視できます。
詳細は Measureのエージェントエンゲージメントをご覧ください。
セッションの成果を追跡
セッションの結果は、会話の終了状態を決定します。 関与したセッションの結果は解決、放棄、またはエスカレーションされることがあります。
解決したセッションは 無事に終了します。
「会話終了」トピックがトリガーされ、ユーザーがクエリに回答したことを確認すると、 解決 済みの結果が確認されます。 ユーザーは顧客満足度スコア(CSAT)を入力するオプションがあります。 これらの理由から、会話を「会話の終わり」トピックで締めくくるよう設計することが推奨されます。
暗黙の解決済み結果は、ユーザーの確認なしにセッションが終了しても、エージェントのロジックが解決済みと判断した場合に発生します。
エスカレートされたセッション は、エージェントがEscalateトピックに入るか、Transfer Conversationノードを使用したときに発生します。
放棄セッション は、セッションが解決またはエスカレーションされることなく終了したときに発生します。
会話の成果はエージェントの分析ダッシュボードで確認できます。
詳細は 「エージェント成果の測定」をご覧ください。
分析戦略を選択してください
Copilot Studioは各エージェントの詳細な分析を提供し、使用パターンやその他の主要業績評価指標の洞察を提供します。 詳細は 分析の概要をご覧ください。 Copilot Studioが生成した分析データをカスタムレポートで利用できます。 カスタムレポートを作成する際は、データをどこにどのように保存するかを計画しましょう。 詳細は 「カスタム分析戦略の開発」をご覧ください。
最適化戦略を定義する
Copilot Studioで構築したエージェントを時間をかけて改善し、投資収益率と顧客満足度を高めましょう。
エージェントのパフォーマンスを毎月見直し、以下の項目に注目してください:
- 回避率:リクエストのうちセルフサービスで完了した割合。
- 解決率:セッション終了時に解決した結果が得られた割合。
- エンゲージメント率:セッションに占められた割合。
- 解像度が低いトピック:個々のトピックの解決率。
- 認識されない発話:カスタムトピックをトリガーしなかったフレーズ。
- チャネルごとの分析:チャネル間のパフォーマンス差を特定する指標。
詳細は 『偏向概要』をご覧ください。
ユーザーのフィードバックやコメントをまとめて、親指を立てて否定します
ユーザーは、サムズアップボタンやサムダウンボタンを使って、エージェントからのメッセージに反応を伝えることができます。 ユーザーがリアクションボタンを選択したら、コメントでより詳細なフィードバックを残すよう促します。 過去28日間のすべての反応やコメントは、Copilot Studio内のエージェントのAnalyticsタブで確認できます。
詳しくは リアクションをご覧ください。
テーマごとにユーザー質問を分析する
Copilot Studioは生成AIの応答を引き起こすすべてのユーザー質問を分析し、共通のテーマにまとめます。 テーマは、ユーザーがどんな質問をしているのか、エージェントがどのように機能しているのかを理解するのに役立ちます。 各テーマの関連する質問や回答の質の指標をすべて確認できます。
詳細は 「テーマ別ユーザー質問分析」をご覧ください。
Copilot Studio Kitで会話KPIを閲覧
また、エージェントのパフォーマンスを追跡するための会話キーパフォーマンス指標(KPI)も Copilot Studio Kitの一部として提供されています。
Copilot Studio Kitは以下の利点を提供します:
- Dataverseにエージェント用の集約されたメトリクスを保存
- KPIデータを長期追跡のために保持する
- KPIの一部として追跡する特定の変数を定義し、例えばネットプロモータースコア(NPS)など
- 会話の全記録とKPI記録を保存してください
- サンプルのPower BIレポートを拡張してカスタムレポートを作成してください
詳細は Copilot Studio Kitの「会話KPIでエージェントのパフォーマンスを追跡」をご覧ください。
次のステップ
会話量、セッションの質、再利用パターンなどのシグナルを解釈し、ユーザーがエージェントとどのようにやり取りしているかを理解しましょう。