Microsoft 365 Copilot エージェント評価 CLI (@microsoft/m365-copilot-eval) は、構造化された評価と AI ベースのスコアリングを使用した豊富な結果レポートを使用して、エージェントの品質をテスト、測定、改善するのに役立ちます。
注:
エージェント評価 CLI は現在プレビュー段階です。 機能と機能は変更される可能性があります。
可能な操作
評価ツールには、次の機能があります。
- バッチ評価と対話型評価を実行します。
- Azure AI + 機械学習評価メトリックを使用して応答を自動的にスコア付けします。
- JSON データセット、インライン プロンプト、または対話型入力を使用してテストします。
- HTML、JSON、または CSV 形式でレポートを生成します。
評価メトリック
各応答は、標準評価メトリックを使用してスコア付けされます。
| エバリュエーター | 型 | [倍率] | 既定のしきい値 | 既定値 |
|---|---|---|---|---|
| 関連性 | LLM ベース | 1-5 | 3 | はい |
| コヒーレンス | LLM ベース | 1-5 | 3 | はい |
| 接地性 | LLM ベース | 1-5 | 3 | 不要 |
| 類似 | LLM ベース | 1-5 | 3 | 不要 |
| RetrievalQuery | LLM 以外 | Pass/fail | 該当なし | いいえ |
| RetrievalResult | LLM 以外 | 比例 | 1.0 | 不要 |
| 引用 | カウントベース | >= 0 | 1 | 不要 |
| ExactMatch | 文字列の一致 | ブール値 | 該当なし | いいえ |
| PartialMatch | 文字列の一致 | 0.0-1.0 | 0.5 | 不要 |
構成オプションやサンプル データセットなど、各エバリュエーターの詳細については、「 エバリュエーター リファレンス」を参照してください。
評価ワークフローのしくみ
評価は一貫したワークフローに従います。
- CLI をインストールして構成します。
- 環境の構成と資格情報を指定します。
- テスト プロンプトのデータセットを作成します。
- エージェントに対して評価を実行します。
- 結果を確認し、反復処理します。
必要な環境変数
評価ツールでは、環境変数を使用してテナントを認証して接続し、Foundry Models リソースで OpenAI をAzureします。
| 変数 | 説明 | 既定値 |
|---|---|---|
TENANT_ID |
エージェントがデプロイされているテナント ID をMicrosoft Entraします。 | なし |
AZURE_AI_OPENAI_ENDPOINT |
OpenAI エンドポイント URL をAzureします。 | なし |
AZURE_AI_API_KEY |
OpenAI API キーをAzureします。 | なし |
M365_TITLE_ID (省略可能) |
評価のために Microsoft 365 エージェント ID を自動検出するために使用されるタイトル ID。 | なし |
M365_AGENT_ID (省略可能) |
評価用の明示的なエージェント ID。 | 自動検出元 M365_TITLE_ID |
AZURE_AI_API_VERSION |
OpenAI REST API バージョンをAzureします。 | 2024-12-01-preview |
AZURE_AI_MODEL_NAME |
Foundry Models リソースの Azure OpenAI のモデル デプロイ名。 | gpt-4o-mini |
これらの値により、認証が有効になり、ツールで LLM ベースの評価スコアリングを実行できます。 これらの値を取得する方法の詳細については、「 環境変数の値を取得する」を参照してください。