[この記事はプレリリース ドキュメントであり、変更されることがあります。]
テストセットの作成中または作成後に、問題の文言を変更したり、異なるテスト方法を選択したり、期待される回答を必要に応じて修正したりしてテストケースを編集できます。 各テスト ケースの横にあるチェック ボックスをオンにすると、複数のテスト ケースを選択して一括で編集できます。
エージェントの応答を評価するには、品質、類似性、テキストの一致という 3 つのテスト方法 (採点者とも呼ばれます) から選択できます。 さまざまなテスト メソッドの詳細については、「 テスト メソッド」を参照してください。
Important
この記事には、Microsoft Copilot Studio のプレビュー ドキュメントが含まれており、変更される可能性があります。
プレビュー機能は運用環境向けではなく、機能が制限されている可能性があります。 これらの機能は公式リリースの前に利用できるため、早期にアクセスして フィードバックを提供できます。
運用対応エージェントを構築する場合は、 Microsoft Copilot Studio の概要を参照してください。
テストセットの詳細を編集してください
テストセットの基本情報や認証に使うアカウントを変更できます。
エージェントの 評価 ページでテストセットを選択してください。
テスト セットで、編集するテスト ケースを選択します。
オプションとして、テストセットの名前を変更することも可能です。
アカウントを追加するには 「プロファイル管理 」を選択し、接続を管理するには現在のプロファイルを選択し 、別のプロファイルを選択してください。 自動テストは、選択したテストアカウントの認証を使用します。 もしエージェントが特定の認証を必要とする知識源やツールを持っているなら、適切なアカウントをテストに選ぶことができます。
注
Copilot Studioがテストケースを生成したり評価を行ったりする際、接続されたアカウントの認証情報を使い、エージェントの知識ソースやツールにアクセスします。 生成されたテストケースや結果には、接続されたアカウントがアクセスできる機密情報が含まれることがあり、この情報はテストセットにアクセスできるすべての制作者に閲覧可能です。
ユーザープロファイルと接続の管理
ユーザーアカウントの認証を使ってテストセットを実行することができます。 この認証方法により、エージェントは目標達成に必要な知識源やツールにアクセスできます。
また、特定のユーザー体験をシミュレートするためにプロファイルを使うこともできます。 例えば、ディレクターのユーザープロファイルはインターンのユーザープロファイルとは異なる知識ソースにアクセスでき、エージェントは異なる結果を返すはずです。
テスト結果 は、どのユーザープロファイルが使用されたかを示します。
注
Copilot Studioがテストケースを生成したり評価を行ったりする際、接続されたアカウントの認証情報を使い、エージェントの知識ソースやツールにアクセスします。 生成されたテストケースや結果には、接続されたアカウントがアクセスできる機密情報が含まれることがあり、この情報はテストセットにアクセスできるすべての制作者に閲覧可能です。
ユーザー認証を使用するエージェント評価は、Microsoft Copilot Studioコネクタを通じてアクセスが必要です。 管理者がこの接続をオフにすると、評価ツールを使ってテストを実行できません。 詳細は Copilot Studioコネクターおよびデータグループをご覧ください。
テストセット内でユーザープロファイルを追加または変更するには:
- テストセットを開き、「 プロファイル管理」を選択します。
- 「 ユーザー 」ドロップダウンを選択し、その後:
- 使いたいユーザーアカウントを選択してください。
- 「 アカウントを追加」を選択してから、そのアカウントにサインインしてください。
- 警告付きの接続については、接続を選択してください。 既存の接続を動作する接続に変更し、既存の接続を再確立するために「 再接続 」を選択し、新しい接続を試みるために「 新しい接続を作成」 を選びます。
新しい接続については、要求された接続情報を入力し、「 接続」を選択します。
- すべての接続が正常に動作したら、 保存を選択します。
テストセット内のテストケースを編集する
エージェントの 評価 ページでテストセットを選択してください。
テスト セットで、編集するテスト ケースを選択します。
- 右側のウィンドウで、[質問] フィールドのテキストを編集して、 質問 の文言を変更します。
- 使用する テスト 方法 を選択します。
品質:
関連性、根拠、完全性に基づいて回答を評価するには、[ 全般品質 ] を選択します。
[ 意味の比較] を選択して、予想される応答の意味をどの程度適切にキャプチャするかに基づいて回答を評価します。 [ 合格スコア] で、回答の合格スコアを構成するもののしきい値を設定できます。
[ 予期される応答 ] ボックスに、テスト メソッドがエージェントの回答を評価する応答を指定します。
類似性: コサイン類似度メトリックを使用して、エージェントの回答が予想される応答の文言と意味とどの程度類似しているかを評価します。 0 から 1 のスコアが決定されます。1 は密接に一致し、0 は一致しないことを意味します。 [ 合格スコア] で、回答の合格スコアを構成するもののしきい値を設定できます。
[ 予期される応答 ] ボックスに、テスト メソッドがエージェントの回答を評価する応答を指定します。
テキストの一致:
[ 完全一致 ] を選択して、予想される応答に対してエージェントの回答を評価します。合格スコアは、エージェントの回答が定義済みの予想応答と正確に一致したことを意味します。
[ 予期される応答 ] ボックスに、テスト メソッドがエージェントの回答を評価する応答を指定します。
[ 部分一致 ] を選択して、予想される応答に対してエージェントの回答を評価します。合格スコアは、エージェントの回答に、定義された予想される応答の単語または語句の一部が含まれていることを意味します。
[ 予期される応答 ] ボックスに、テスト メソッドがエージェントの回答を評価する語句またはキーワードを指定します。 複数のキーワードまたは語句を追加するには、[ 追加] を選択 し 、演算子または ボックス間を 選択し、キーワードまたは語句を指定します。
を選択してを適用します。
変更が完了したら、テストセットを保存するために保存するか、テストを実行するために評価を選択します。
テストセットにさらにテストケースを追加する
テストセットを作成または編集する際に、さらに多くのテストケースを追加できます。
エージェントの 評価 ページでテストセットを選択してください。
テストケースを生成または手動で追加してください。
- 新しいテストケースを選択して編集して詳細を追加してください。
テストケースやテストセットを削除してください
不要なテストケースやテストセットを削除できます。
- エージェントの 評価 ページにアクセスしてください。
-
テストセットセクションでは、以下のいずれかを行うことでテストセットを削除できます:
- テストセットカードの3つの点(...)を選択し、その後 「削除」を選択します。
- テストセットを選択して開き、次に「テストセットの設定」パネルで3つの点(...)を選択し、最後に削除を選択します。
-
最近の結果セクションでは、以下のいずれかを行うことでテストケースを削除できます:
- 削除したいテストケースにカーソルを合わせ、3つの点を選択し(...)、次に 「テストを削除」を選択します。
- テストケースを選択して開き、評価要約の3つの点(...)を選択し、削除を選択します。