[この記事はプレリリース ドキュメントであり、変更されることがあります。]
評価を行った後、エージェントが会話全体でどれだけうまく機能したかを確認しましょう。 結果は品質スコアを示し、個別の会話を開いてエージェントの回答を確認できます。
Important
- これは運用に対応したプレビュー機能です。
- 運用に対応したプレビューには 追加使用条件 が適用されます。
実行結果を表示する
ラン結果を見るには:
- Copilot Studio でエージェントを開きます。
- [評価] タブを選択します。
- 最近の結果では、過去にテストされた評価を選択して結果を確認できます。
結果には、次の情報が表示されます。
テスト実行結果:各会話でユーザーとエージェント間のメッセージ数と一般的な品質スコアを示す表。 詳細を見るには会話を選択してください。
評価の概要: すべてのテスト方法における総合評価の要約。 これには、次の情報が含まれます。
- スコア: 一般的な品質テスト方法に合格した会話の総合スコア。
- 期間: 評価を完了するのにかかった時間の長さ。
- テスト ケース: 全体の評価におけるテスト ケースの数。
- データ型: テスト セットの種類。 利用可能なのは会話データタイプのみです。
- ユーザー プロファイル: 評価を実行したユーザー プロファイル。
テストケースのレビュー
テストケースのレビュー:
実行結果ページで、会話を選択して詳細を展開します。
テスト ケースの詳細 のレビュー:
- ユーザー メッセージ: エージェントに送信されるテスト メッセージ。
- エージェントの応答:エージェントの実際の回答。
- 一般的な質:テスト方法の回答のスコア( 合格 か 不合格か)。
この情報を活用して、エージェントが改善すべき点を特定します。
実行を比較する
同じ評価を複数回実行して結果を比較し進捗を追跡します:
- 評価の詳細ページで、実行のリストとそのスコアとタイムスタンプを確認します。
- ランごとにスコアを比較し、エージェントが改善されたパフォーマンスや劣化したパフォーマンスが変わったかどうかを確認しましょう。
- パターンを探します。 例えば、ある会話のカテゴリーが一貫して低評価の場合、その分野にはより多くの指示や知識が必要かもしれません。
結果をエクスポートする
さらなる分析のための輸出評価結果:
- 実行結果ページで 3 つのドット (...) >テスト結果のエクスポート を選択します。 特定の評価を選択してから、3つの点(...)を選択することも可能です >エクスポートテスト結果 は右上にあります。
- すべての会話、回答、スコアを含むCSVファイルとして結果をダウンロードしてください。
結果に基づいてアクションを実行する
評価結果に基づいて、以下のアクションを実行します。
- 全般的な品質評価が低い: エージェントの指示を見直し、改善します。 エージェントの詳細と指示を構成する (プレビュー) を参照してください。
- 工具の使い方が欠けているか誤ったもの:工具に明確な説明があるか、エージェントの指示にいつ使用すべきか確認してください。 エージェント向けツールの概要 (プレビュー) を参照してください。
- 誤った情報: 関連するサポート情報ソースが正しく追加および構成されているか確認します。 エージェントにナレッジを追加する (プレビュー) を参照してください。