注:
この記事の機能は 標準ハーネスによって動作しており、標準ハーネスで 動作するエージェントのライセンスオプションを使用しています。 Access標準エージェントおよびエージェントフローで標準機能にアクセスする方法を学びましょう。
テストセットを使って、エージェントが実際の対応シナリオをどのように扱うかを評価し、洗練させましょう。 この記事では、テストセットの名前や設定の変更方法、認証に使用されるユーザープロファイルや接続の管理、個々のテストケースの編集・削除、そしてテストセットや結果全体の削除方法について説明します。 これらのステップは、評価が適切なユーザーコンテキストを反映し、知識源やツールへの安全なアクセスを維持するのに役立ちます。
エージェントの応答を評価するには、品質、類似性、テキストの一致という 3 つのテスト方法 (グレーザーとも呼ばれます) から選択できます。 さまざまなテスト メソッドの詳細については、「 テスト メソッド」を参照してください。
テストセットの詳細を編集してください
テストセットの詳細、例えば認証に使うアカウントや使用するテスト手法を変更できます。
エージェントの 評価 ページにアクセスしてください。
テストセットを選択します。
テスト セットで、編集するテスト ケースを選択します。
オプションとして、テストセットの名前を変更することも可能です。
テスト方法を追加または修正してください。 各試験方法は異なる値を測定し、異なる構成を必要とします。 各テスト方法の設定方法については、「 テスト方法の選択」をご覧ください。
テスト メソッド 対策 テスト セットの種類 ポイントの計算 Configurations 一般的な品質 特定の基準に基づいてテストケースの応答を評価する方法 単一の応答または会話 100点満点 なし 意味の比較 テストケースの答えの意味が期待される答えとどれだけ一致しているか 単一応答 100点満点 合格点、期待される答え ツールの使用 テストケースがすべてまたは一部の予想されたリソースを使用したかどうかを確認する 単一応答 合格/不合格 期待される能力 キーワードマッチ テストケースが予想されるキーワードやフレーズのすべてまたは一部を使ったかどうか 単一の応答または会話 合格/不合格 期待されるキーワードやフレーズ テキストの類似性 テストケースの回答のテキストが期待される答えとどれだけ一致しているか 単一応答 100点満点 合格点、期待される答え 完全一致 テストケースの答えが期待される答えと正確に一致しているかどうか 単一応答 合格/不合格 予想通りの答え カスタム テスト ケースの応答が定義された条件または期待値を満たしているかどうか。 単一の応答または会話 合格/不合格 (定義されたラベル条件に合格) 名前、評価手順、ラベル [ プロファイルの管理 ] を選択してアカウントを追加するか、現在のプロファイルを選択して接続を管理するか、別のプロファイルを選択します。 自動テストは、選択したテストアカウントの認証を使用します。 詳細は 「ユーザープロフィールとコネクションの管理」をご覧ください。
注:
Copilot Studio は、テスト ケースを生成するか、評価を実行すると、接続されているアカウントの認証資格情報を使用して、エージェントのナレッジ ソースとツールにアクセスします。 生成されたテスト ケースには、接続されているアカウントがアクセスできる機密データを含めることができます。 エージェントにアクセスできるすべての作成者は、そのエージェントにリンクされているテスト セットを表示することもできます。
ユーザープロファイルと接続の管理(プレビュー)
[このセクションはプレリリース ドキュメントであり、変更されることがあります。]
自分のアカウントとは異なる認証を使ってテストセットを実行することができます。 この認証方法により、エージェントは目標達成に必要な知識源やツールにアクセスできます。
プロファイルを使用して、特定のユーザー エクスペリエンスをシミュレートできます。 例えば、ディレクターのユーザープロファイルはインターンのユーザープロファイルとは異なる知識ソースにアクセスでき、エージェントは異なる結果を返します。
Important
この記事には、Microsoft Copilot Studio のプレビュー ドキュメントが含まれており、変更される可能性があります。
プレビュー機能は運用環境での使用を想定しておらず、機能が制限される可能性があります。 これらの機能は公式リリースの前に利用できるため、早期にアクセスして フィードバックを提供できます。
運用対応エージェントを構築する場合は、 Microsoft Copilot Studio の概要を参照してください。
Important
ユーザープロファイルを選択すると、エージェントが使用するコネクタを確認・認証できます。 Copilot Studioにサインインするために使うアカウント以外のアカウント(テストアカウントなど)を選択すると、Copilot Studioはそのユーザープロファイルを認証し、ユーザーの既存の接続を取得します。 これらの接続を設定し、レビューし、評価を実行する前に保存できます。
テスト結果 は、どのユーザープロファイルが使用されたかを示します。
注:
Copilot Studio は、テスト ケースを生成するか、評価を実行すると、接続されているアカウントの認証資格情報を使用して、エージェントのナレッジ ソースとツールにアクセスします。 生成されたテスト ケースには、接続されているアカウントがアクセスできる機密データを含めることができます。 エージェントにアクセスできるすべての作成者は、そのエージェントにリンクされているテスト セットを表示することもできます。
ユーザー認証を使用するエージェントの評価には、Microsoft Copilot Studio コネクタ経由でアクセスする必要があります。 管理者がこの接続をオフにすると、評価ツールを使ってテストを実行できません。 詳細については、「Copilot Studio コネクタとデータ グループを参照してください。
テストセット内でユーザープロファイルを追加または変更するには:
テストセットを開き、「 プロファイル管理」を選択します。
「 ユーザー 」ドロップダウンを選択し、その後:
- 使いたいユーザーアカウントを選択してください。
- 「 アカウントを追加」を選択してから、そのアカウントにサインインしてください。
警告付きの接続については、接続を選択してください。 既存の接続を動作する接続に変更し、既存の接続を再確立するために「 再接続 」を選択し、新しい接続を試みるために「 新しい接続を作成」 を選びます。 動作する接続部は緑のチェックで示されています。
新しい接続については、要求された接続情報を入力し、「 接続」を選択します。
すべての接続が正常に動作したら、 保存を選択します。
「管理プロファイルと接続」のポップアップが表示されたら、「保存」を選択して選択したユーザープロファイルと接続でテストセットを更新します。
テストセットまたはテスト結果を削除してください
不要なテストケースやテストセットを削除できます。
- エージェントの 評価 ページにアクセスしてください。
-
テストセットセクションでは、以下のいずれかのステップでテストセットを削除します:
- テストセットカードの3つの点(...)を選択し、その後 「削除」を選択します。
- テストセットを選択して開き、次に「テストセットの設定」パネルで3つの点(...)を選択し、最後に削除を選択します。
-
最近の結果セクションでは、以下のいずれかの手順でテスト結果を削除してください:
- 削除したいテスト結果にカーソルを合わせ、3つの点(...)を選択してから 「テストを削除」を選択します。
- テスト結果を選択して開き、評価要約の3つの点(...)を選択し、最後に削除を選択します。