Power CAT Copilot Studio Kit は、エージェントの応答を確認できるユーザーフレンドリーなアプリケーションです。 また、一括作成や更新のために Excel のエクスポートやインポートなどのネイティブ機能も含まれています。
構成、実行、分析
Copilot Studio API (Direct Line API) に対するテストを構成して実行し、予想される結果に対するエージェントの応答を評価します。
結果を強化するには、会話トランスクリプト レコード (トリガーされた正確なトピック名や意図認識スコアなど) を分析して、Azure Application Insights と Dataverse から追加のデータ ポイントを取得します。
AI が生成した回答は本質的に非決定論的であり、プロンプトを使用して、生成された回答をサンプル回答または検証手順と比較します。
テストの種類
このツールでは、次の種類のテストがサポートされています。
- 応答マッチ
- アダプティブ カードなどの添付ファイル
- トピックの一致 (Dataverse が必要)
- 生成的な回答 (回答が生成されなかった理由の詳細については、応答分析と Application Insights に AI Builder が必要)
- 複数ターンのテストの種類は、特殊なテストの種類です。 これは、同じ会話コンテキストで指定された順序で実行される 標準 型の一連のテスト ケースで構成されます。 マルチターン テストを使用して、シナリオをエンドツーエンドでテストし、生成オーケストレーションを使用してカスタム エージェントをテストします。
- プランの検証を使用すると、作成者は、生成オーケストレーションを使用するカスタム エージェントに想定されるツールが含まれることを検証できます。 このテストの種類では、エージェントの言うことを評価するのではなく、エージェントの動的プランに、事前に決定されたしきい値に予想されるツール (ツール、アクション、接続されたエージェント) が含まれていることが確認されます。
テストの種類の詳細については、「 Copilot Studio Kit でテストを構成する」を参照してください。
