Microsoft 365 Copilot エージェント評価 CLI (@microsoft/m365-copilot-eval) は、自動化されたプロンプト評価と AI ベースのスコアリングを通じて、エージェントの品質をテスト、測定、および改善するのに役立ちます。 このクイックスタートでは、エージェント評価ツールのインストール、環境の構成、最初のデータセットの作成、評価の実行について説明します。
重要
展開済みの宣言型エージェントの場合は、ガイド付きワークフローの Work IQ Dev Tools (プレビュー) から始めてください。 Work IQ Dev Tools は、互換性のあるエージェント評価 CLI バージョンを管理するため、 @microsoft/m365-copilot-eval をグローバルにインストールする必要はありません。 低レベルのコマンド制御が必要な場合や、既存の runevals ワークフローを維持したい場合は、このクイックスタートに従います。
前提条件
開始する前に、次のことを確認してください。
- テナントにデプロイされた Microsoft 365 Copilot エージェント。
-
Node.js 24.12.0 以降 (
node --versionを使用してチェック)。 - テナントで利用できる Copilot クレジット。 エージェント評価 CLI は、テスト プロンプトをエージェントに送信するときに Copilot クレジットを使用します。 テナント管理者は、Copilot>Cost Management ノードに移動して、Microsoft 365 管理センターで使用量ベース (従量制課金) の課金を有効にします。 詳細については、「 Copilot クレジットの管理」を参照してください。
- 応答をスコアリングするためにデプロイされた GPT-5 モデルを含む Microsoft Foundry プロジェクト。 詳細については、 環境変数の値の取得を参照してください。
- テナント内の Work IQ に付与された Microsoft Entra 管理者の同意。 テナント管理者でない場合は、初めて
runevalsを実行する前に管理者に同意を付与するよう依頼してください。 詳細については、「 管理者の同意を付与する」を参照してください。 - テナント ID と Microsoft Foundry プロジェクト エンドポイント。 これらの値がない場合は、「 環境変数の値の取得」を参照してください。
注:
このクイックスタートでは、Windows 開発環境を使用していることを前提としています。 他のオペレーティング システムの認証サポートは近日公開予定です。
手順 1: CLI をインストールする
npm を使用してエージェント評価CLI をグローバルにインストールします。
npm install -g @microsoft/m365-copilot-eval
インストールを確認します。
runevals --version
インストール後、 runevals コマンドはシステム上でグローバルに使用可能になります。
手順 2: プロジェクト構造を設定する
評価ツールのリポジトリからではなく、 Microsoft 365 エージェント プロジェクト ディレクトリ (エージェント コードが存在する場所) から評価ツールを実行します。
cd /path/to/your-agent-project
エージェント プロジェクトには、次のファイルとフォルダーが含まれている必要があります。
my-agent/
├── .env.local # Agent configuration (Agents Toolkit projects)
├── .env.local.user # Secrets — never committed
├── evals/
│ └── evals.json # Your test dataset (auto-discovered)
└── .evals/
└── <generated reports> # Results written here (YYYY-MM-DD_HH-MM-SS.html)
evals/evals.jsonデータセットは手順 4 で作成します。
.evals/ レポート フォルダーは、初回実行時に自動的に作成されます。
手順 3: 環境変数を構成する
プロジェクトの種類に一致するオプションを選択します。
ヒント
Microsoft 365 Agents Toolkit を使用してエージェントを構築した場合は、エージェント構成で既に .env.local があります。 プロジェクトのルートにシークレット用の .env.local.user を作成します。
Microsoft 365 Agents Toolkit プロジェクト
M365_AGENT_IDを直接設定するのではなく、CLI が .env.local のM365_TITLE_IDから自動的に検出します。 詳細については、「 エージェント ID を取得する」を参照してください。
.env.local.userにシークレットを追加します。
# .env.local.user (NOT checked in — secrets go here)
TENANT_ID="your-tenant-id-here"
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # default
エージェント評価 CLI は、Microsoft Entra で認証される Microsoft Foundry クラウド評価を使用して応答をスコアリングします。
runevals を実行する前に、Azure CLI (az login) を使用してサインインします。 これらの値の詳細については、 環境変数の値の取得を参照してください。
.gitignoreに.env.local.userを追加します。
# User-specific secrets — never commit
.env.local.user
env/.env.local.user
手順 4: 最初のデータセットを作成する
小さなプロンプト セットと期待される応答を使用して evals/evals.json を作成します。 この例では、1 ターンの評価に最も単純な有効なスキーマを使用します。
{
"schemaVersion": "1.0.0",
"items": [
{
"prompt": "What is Microsoft 365?",
"expected_response": "Microsoft 365 is a cloud-based productivity suite that includes Office apps, cloud services, and device management."
},
{
"prompt": "How do I share a file in Microsoft Teams?",
"expected_response": "To share a file in Teams, you can upload it to a channel or chat, or share it from OneDrive with specific permissions."
}
]
}
ヒント
この手順をスキップすると、最初に runevals を実行するときに、ツールによってサンプル プロンプトを含むスターター ファイルの生成が提案されます。
完全なデータセットスキーマ、カテゴリ、および高度なパターンについては、「 評価テストスイートの作成」を参照してください。
手順 5: 最初の評価版を実行する
Agents Toolkit プロジェクトの場合 (自動的に .env.local と .env.local.user を使用):
runevals
エージェント ツールキット以外のプロジェクトの場合:
runevals --env dev
手順 6: セットアップが成功したことを確認する
正常な実行では、次の結果が生成されます。
次のような完了メッセージがターミナルに表示されます。
M365 Copilot Agent Evaluations CLI Loading environment: dev Agent ID: T_my-agent.declarativeAgent Using prompts file: ./evals/evals.json Running evaluations... Evals completed successfully! Results saved to: ./.evals/2026-04-22_14-30-45.htmlブラウザーで自動的に開く
./.evals/YYYY-MM-DD_HH-MM-SS.htmlに保存された HTML レポート。
レポートには、各プロンプトのスコアが含まれます。
| Evaluator | 型 | [倍率] | 既定のしきい値 | 既定値 |
|---|---|---|---|---|
| 関連性 | LLM ベース | 1-5 | 3 | はい |
| コヒーレンス | LLM ベース | 1-5 | 3 | はい |
| グラウンディングネス | LLM ベース | 1-5 | 3 | 不要 |
| 類似性 | LLM ベース | 1-5 | 3 | 不要 |
| 引用 | カウントベース | >= 0 | 1 | 不要 |
| ExactMatch | 文字列一致 | ブール値 | 該当なし | いいえ |
| PartialMatch | 文字列一致 | 0.0-1.0 | 0.5 | 不要 |
これらの結果が表示されない場合は、「 トラブルシューティング」を参照してください。