テストセットを使って、エージェントが実際の対応シナリオをどのように扱うかを評価し、洗練させましょう。 この記事では、テストセットの名前や設定の変更方法、認証に使用されるユーザープロファイルや接続の管理、個々のテストケースの編集・削除、そしてテストセットや結果全体の削除方法について説明します。 これらのステップは、評価が適切なユーザーコンテキストを反映し、知識源やツールへの安全なアクセスを維持するのに役立ちます。
エージェントの応答を評価するには、品質、類似性、テキストの一致という 3 つのテスト方法 (グレーザーとも呼ばれます) から選択できます。 さまざまなテスト メソッドの詳細については、「 テスト メソッド」を参照してください。
テストセットの詳細を編集してください
テストセットの詳細、例えば認証に使うアカウントや使用するテスト手法を変更できます。
エージェントの 評価 ページにアクセスしてください。
テストセットを選択します。
テスト セットで、編集するテスト ケースを選択します。
オプションとして、テストセットの名前を変更することも可能です。
テスト方法を追加または修正してください。 各試験方法は異なる値を測定し、異なる構成を必要とします。 各テスト方法の設定方法については、「 テスト方法の選択」をご覧ください。
テスト メソッド 対策 テスト セットの種類 ポイントの計算 Configurations 一般的な品質 特定の基準に基づいてテストケースの応答を評価する方法 単一の応答または会話 100点満点 None 意味の比較 テストケースの答えの意味が期待される答えとどれだけ一致しているか 1 つの応答 100点満点 合格点、期待される答え 能力の利用 テストケースがすべてまたは一部の予想されたリソースを使用したかどうかを確認する 1 つの応答 合格/不合格 期待される能力 キーワードマッチ テストケースが予想されるキーワードやフレーズのすべてまたは一部を使ったかどうか 単一の応答または会話 合格/不合格 期待されるキーワードやフレーズ テキストの類似性 テストケースの回答のテキストが期待される答えとどれだけ一致しているか 1 つの応答 100点満点 合格点、期待される答え 完全一致 テストケースの答えが期待される答えと正確に一致しているかどうか 1 つの応答 合格/不合格 予想通りの答え [ プロファイルの管理 ] を選択してアカウントを追加するか、現在のプロファイルを選択して接続を管理するか、別のプロファイルを選択します。 自動テストは、選択したテストアカウントの認証を使用します。 マルチプロファイル評価は、コネクタの依存関係のないエージェントでのみサポートされます。 もしエージェントが特定の認証を必要とする知識源やツールを持っているなら、適切なアカウントをテストに選ぶことができます。 詳細については、「 ユーザー プロファイルと接続の管理」を参照してください。
注
Copilot Studio は、テスト ケースを生成するか、評価を実行すると、接続されているアカウントの認証資格情報を使用して、エージェントのナレッジ ソースとツールにアクセスします。 テスト ケースの結果には、接続されているアカウントがアクセスできる機密情報が含まれる場合があり、テスト結果にアクセスできるすべての作成者がこの情報を表示できます。
ユーザープロファイルと接続の管理
ユーザーアカウントの認証を使ってテストセットを実行することができます。 この認証方法により、エージェントは目標達成に必要な知識源やツールにアクセスできます。
プロファイルを使用して、特定のユーザー エクスペリエンスをシミュレートできます。 例えば、ディレクターのユーザープロファイルはインターンのユーザープロファイルとは異なる知識ソースにアクセスでき、エージェントは異なる結果を返します。 マルチプロファイル評価は、コネクタの依存関係のないエージェントでのみサポートされます。
Important
テスト セット内のユーザー プロファイルは、ツールの認証を提供できません。 評価を実行する場合、エージェントはログインアカウントを使用してツール接続を認証する必要があります。 別のユーザー プロファイルを選択した場合、またはエージェントのツール接続で認証にアカウントが使用されない場合、 "このアカウントはツールに接続できません" というメッセージで評価が失敗します。 解決するには、ツール コネクタで構成されたアカウントでサインインし、評価を実行します。
テスト結果 は、どのユーザープロファイルが使用されたかを示します。
注
Copilot Studio は、テスト ケースを生成するか、評価を実行すると、接続されているアカウントの認証資格情報を使用して、エージェントのナレッジ ソースとツールにアクセスします。 生成されたテストケースや結果には、接続されたアカウントがアクセスできる機密情報が含まれており、テスト結果にアクセスできるすべてのメーカーがこの情報を閲覧できます。
ユーザー認証を使用するエージェントの評価には、Microsoft Copilot Studio コネクタ経由でアクセスする必要があります。 管理者がこの接続をオフにすると、評価ツールを使ってテストを実行できません。 詳細については、「Copilot Studio コネクタとデータ グループを参照してください。
テストセット内でユーザープロファイルを追加または変更するには:
テストセットを開き、「 プロファイル管理」を選択します。
「 ユーザー 」ドロップダウンを選択し、その後:
- 使いたいユーザーアカウントを選択してください。
- 「 アカウントを追加」を選択してから、そのアカウントにサインインしてください。
警告付きの接続については、接続を選択してください。 既存の接続を動作する接続に変更し、既存の接続を再確立するために「 再接続 」を選択し、新しい接続を試みるために「 新しい接続を作成」 を選びます。
新しい接続については、要求された接続情報を入力し、「 接続」を選択します。
すべての接続が正常に動作したら、 保存を選択します。
テストセットまたはテスト結果を削除してください
不要なテストケースやテストセットを削除できます。
- エージェントの 評価 ページにアクセスしてください。
-
テストセットセクションでは、以下のいずれかのステップでテストセットを削除します:
- テストセットカードの3つの点(...)を選択し、その後 「削除」を選択します。
- テストセットを選択して開き、次に「テストセットの設定」パネルで3つの点(...)を選択し、最後に削除を選択します。
-
最近の結果セクションでは、以下のいずれかの手順でテスト結果を削除してください:
- 削除したいテスト結果にカーソルを合わせ、3つの点(...)を選択してから 「テストを削除」を選択します。
- テスト結果を選択して開き、評価要約の3つの点(...)を選択し、最後に削除を選択します。