[この記事はプレリリース ドキュメントであり、変更されることがあります。]
テストセットを使って、エージェントが実際の対応シナリオをどのように扱うかを評価し、洗練させましょう。 この記事では、テストセットの名前や設定の変更方法、認証に使用されるユーザープロファイルや接続の管理、個々のテストケースの編集・削除、そしてテストセットや結果全体の削除方法について説明します。 これらのステップは、評価が適切なユーザーコンテキストを反映し、知識源やツールへの安全なアクセスを維持するのに役立ちます。
エージェントの応答を評価するには、品質、類似性、テキストの一致という 3 つのテスト方法 (グレーザーとも呼ばれます) から選択できます。 さまざまなテスト メソッドの詳細については、「 テスト メソッド」を参照してください。
テストセットの詳細を編集してください
テストセットの基本情報や認証に使うアカウントを変更できます。
エージェントの 評価 ページでテストセットを選択してください。
テスト セットで、編集するテスト ケースを選択します。
オプションとして、テストセットの名前を変更することも可能です。
アカウントを追加するには 「プロファイル管理 」を選択し、接続を管理するには現在のプロファイルを選択し 、別のプロファイルを選択してください。 自動テストは、選択したテストアカウントの認証を使用します。 もしエージェントが特定の認証を必要とする知識源やツールを持っているなら、適切なアカウントをテストに選ぶことができます。
注
Copilot Studioがテストケースを生成したり評価を行ったりする際、接続されたアカウントの認証情報を使い、エージェントの知識ソースやツールにアクセスします。 生成されたテストケースや結果には、接続されたアカウントがアクセスできる機密情報が含まれており、テスト結果にアクセスできるすべてのメーカーがこの情報を閲覧できます。
ユーザープロファイルと接続の管理
ユーザーアカウントの認証を使ってテストセットを実行することができます。 この認証方法により、エージェントは目標達成に必要な知識源やツールにアクセスできます。
また、特定のユーザー体験をシミュレートするためにプロファイルを使うこともできます。 例えば、ディレクターのユーザープロファイルはインターンのユーザープロファイルとは異なる知識ソースにアクセスでき、エージェントは異なる結果を返します。
テスト結果 は、どのユーザープロファイルが使用されたかを示します。
注
Copilot Studioがテストケースを生成したり評価を行ったりする際、接続されたアカウントの認証情報を使い、エージェントの知識ソースやツールにアクセスします。 生成されたテストケースや結果には、接続されたアカウントがアクセスできる機密情報が含まれており、テスト結果にアクセスできるすべてのメーカーがこの情報を閲覧できます。
ユーザー認証を使用するエージェント評価は、Microsoft Copilot Studioコネクタを通じてアクセスが必要です。 管理者がこの接続をオフにすると、評価ツールを使ってテストを実行できません。 詳細は Copilot Studioコネクターおよびデータグループをご覧ください。
テストセット内でユーザープロファイルを追加または変更するには:
- テストセットを開き、「 プロファイル管理」を選択します。
- 「 ユーザー 」ドロップダウンを選択し、その後:
- 使いたいユーザーアカウントを選択してください。
- 「 アカウントを追加」を選択してから、そのアカウントにサインインしてください。
- 警告付きの接続については、接続を選択してください。 既存の接続を動作する接続に変更し、既存の接続を再確立するために「 再接続 」を選択し、新しい接続を試みるために「 新しい接続を作成」 を選びます。
新しい接続については、要求された接続情報を入力し、「 接続」を選択します。
- すべての接続が正常に動作したら、 保存を選択します。
テストセットまたはテスト結果を削除してください
不要なテストケースやテストセットを削除できます。
- エージェントの 評価 ページにアクセスしてください。
-
テストセットセクションでは、以下のいずれかのステップでテストセットを削除します:
- テストセットカードの3つの点(...)を選択し、その後 「削除」を選択します。
- テストセットを選択して開き、次に「テストセットの設定」パネルで3つの点(...)を選択し、最後に削除を選択します。
-
最近の結果セクションでは、以下のいずれかの手順でテスト結果を削除してください:
- 削除したいテスト結果にカーソルを合わせ、3つの点(...)を選択してから 「テストを削除」を選択します。
- テスト結果を選択して開き、評価要約の3つの点(...)を選択し、最後に削除を選択します。