エージェントの成果を測定する

会話のエンゲージメント成果を追跡し、エージェントとのやり取りの効果を評価するとともに、改善すべき点を特定します。

重要

Copilot Studio でのユーザーとエージェント間の会話により、1 つまたは複数の分析セッションが生成されます。 すべての分析セッションは エンゲージメントした、またはエンゲージメントしていない です。

分析のセッション結果の理解

各分析セッションには、次のような結果があります:

  • エンゲージメントに寄与していない セッションの結果は、常に なし です。
  • エンゲージメントに寄与した セッションの結果は次のいずれかになります。
    • 解決済
    • エスカレーション済み
    • 放棄済み

エンゲージメントと成果

分析ダッシュボードまたは Dataverse 内の ConversationTranscript テーブルで、会話分析のセッション、そのエンゲージメント状況、結果を確認できます。

エンゲージメント 結果 Definition
エンゲージメントに寄与していない なし(None) すべての非エンゲージメント セッションの結果は なし です。
エンゲージメントに寄与している エスカレーション済み (HandOff) エスカレーションのトピックがトリガーされた場合、または会話の転送ノードに到達した場合、そのセッションはエスカレーションされたものとみなされます。
エンゲージ 解決済み (Resolved) 会話の終了 トピックがトリガーされ、ユーザーが対話の成功を確認するか (impliedSuccess = FALSE)、応答せずにセッションをタイムアウトさせると (impliedSuccess = TRUE)、セッションは 解決済み とみなされます。
エンゲージメントに寄与している 破棄済み (Abandoned) エンゲージメント セッションが終了し、解決済みエスカレーション済み 状態に達しなかった場合、セッションは 破棄 とみなされます。

会話を適切に終了して成果を測定する

会話の終了というトピックで会話を終了してください。 このトピックを使用することで、ユーザーは自分の問題が解決したかどうかを確認でき、必要に応じて上位の担当者にエスカレーションできます。

エージェントが成功を確認すると、ユーザーに顧客満足度調査が表示され、0~5 の評価を入力するよう求められます。

トピックのロジックに基づいて会話の成果が確実である場合は、成功確認済みとして直接フラグを付けるか、またはエスカレート トピックにリダイレクトできます。

ヒント

統合オーサリング キャンバスのコード エディタで、アクション内に conversationOutcome を設定します。 たとえば、成功が確認された場合は conversationOutcome: ResolvedConfirmed、成功が示唆されている場合は conversationOutcome: ResolvedImplied を使用してください。

次のステップ

エージェントが問い合わせをうまく解決できている箇所、十分に対応できていない箇所を特定し、より良いルーティング、知識、オーケストレーションによって効果的な回避を高める方法を見つけましょう。