Microsoft 365 Copilot エージェント評価 CLI (@microsoft/m365-copilot-eval) は、自動プロンプト評価と AI ベースのスコアリングを通じて、エージェントの品質をテスト、測定、改善するのに役立ちます。 このクイック スタートでは、エージェント評価ツールのインストール、環境の構成、最初のデータセットの作成、評価の実行について説明します。
注:
エージェント評価 CLI は現在プレビュー段階です。 機能と機能は変更される可能性があります。
前提条件
開始する前に、次の点を確認してください。
- テナントにデプロイされたMicrosoft 365 Copilot エージェント。
-
Node.js 24.12.0 以降 (
node --versionを使用してチェック)。 - GPT-4o-mini がデプロイされた Foundry Models リソースのAzure OpenAI へのアクセス。
- テナントMicrosoft Entraエージェント評価 CLI に対して管理者の同意が付与されます。 テナント管理者でない場合は、初めて
runevalsを実行する前に、管理者に同意を求めます。 詳細については、「管理者の 同意を付与する」を参照してください。 - テナント ID、Azure OpenAI エンドポイント、API キー。 これらの値がない場合は、「 環境変数の値を取得する」を参照してください。
注:
このクイック スタートでは、Windows 開発環境を使用していることを前提としています。 他のオペレーティング システムの認証サポートは近日公開予定です。
手順 1: CLI をインストールする
npm を使用してエージェント評価 CLI をグローバルにインストールします。
npm install -g @microsoft/m365-copilot-eval
インストールを確認します。
runevals --version
インストール後、 runevals コマンドはシステムでグローバルに使用できます。
手順 2: プロジェクト構造を設定する
評価ツール リポジトリからではなく、 Microsoft 365 エージェント プロジェクト ディレクトリ (エージェント コードが存在する場所) から評価ツールを実行します。
cd /path/to/your-agent-project
エージェント プロジェクトには、次のファイルとフォルダーが含まれている必要があります。
my-agent/
├── .env.local # Agent configuration (Agents Toolkit projects)
├── .env.local.user # Secrets — never committed
├── evals/
│ └── evals.json # Your test dataset (auto-discovered)
└── .evals/
└── <generated reports> # Results written here (YYYY-MM-DD_HH-MM-SS.html)
手順 4. で evals/evals.json データセットを作成します。
.evals/ レポート フォルダーは、最初の実行時に自動的に作成されます。
手順 3: 環境変数を構成する
プロジェクトの種類に一致するオプションを選択します。
ヒント
Microsoft 365 Agents Toolkit を使用してエージェントを構築した場合は、既にエージェント構成に .env.local があります。 シークレットのプロジェクト ルートに .env.local.user を作成します。
Microsoft 365 Agents Toolkit プロジェクト
M365_AGENT_IDは直接設定しません。CLI は、.env.localのM365_TITLE_IDから自動検出します。 詳細については、「 エージェント ID を取得する」を参照してください。
シークレットを .env.local.userに追加します。
# .env.local.user (NOT checked in — secrets go here)
AZURE_AI_OPENAI_ENDPOINT="https://your-resource.openai.azure.com/"
AZURE_AI_API_KEY="your-api-key-here"
TENANT_ID="your-tenant-id-here"
AZURE_AI_API_VERSION="2024-12-01-preview" # default
AZURE_AI_MODEL_NAME="gpt-4o-mini" # default
.gitignoreに.env.local.userを追加します。
# User-specific secrets — never commit
.env.local.user
env/.env.local.user
手順 4: 最初のデータセットを作成する
プロンプトと予想される応答のセットが少ない evals/evals.json を作成します。 この例では、シングルターン評価に最も簡単な有効なスキーマを使用します。
{
"schemaVersion": "1.0.0",
"items": [
{
"prompt": "What is Microsoft 365?",
"expected_response": "Microsoft 365 is a cloud-based productivity suite that includes Office apps, cloud services, and device management."
},
{
"prompt": "How do I share a file in Microsoft Teams?",
"expected_response": "To share a file in Teams, you can upload it to a channel or chat, or share it from OneDrive with specific permissions."
}
]
}
ヒント
この手順をスキップすると、このツールは、初めて runevalsを実行するときに、サンプル プロンプトを含むスターター ファイルを生成するように提供します。
完全なデータセット スキーマ、カテゴリ、および高度なパターンについては、「 評価テスト スイートの作成」を参照してください。
手順 5: 最初の評価を実行する
Agents Toolkit プロジェクトの場合 ( .env.local と .env.local.userが自動的に使用されます)。
runevals
エージェント以外のツールキット プロジェクトの場合:
runevals --env dev
手順 6: セットアップが成功したことを確認する
正常に実行されると、次の結果が生成されます。
ターミナル内の完了メッセージ 。次のメッセージと同様です。
M365 Copilot Agent Evaluations CLI Loading environment: dev Agent ID: T_my-agent.declarativeAgent Using prompts file: ./evals/evals.json Running evaluations... Evals completed successfully! Results saved to: ./.evals/2026-04-22_14-30-45.htmlブラウザーで自動的に開く
./.evals/YYYY-MM-DD_HH-MM-SS.htmlに保存された HTML レポート。
レポートには、各プロンプトのスコアが含まれます。
| エバリュエーター | 型 | [倍率] | 既定のしきい値 | 既定値 |
|---|---|---|---|---|
| 関連性 | LLM ベース | 1-5 | 3 | はい |
| コヒーレンス | LLM ベース | 1-5 | 3 | はい |
| 接地性 | LLM ベース | 1-5 | 3 | 不要 |
| 類似 | LLM ベース | 1-5 | 3 | 不要 |
| 引用 | カウントベース | >= 0 | 1 | 不要 |
| ExactMatch | 文字列の一致 | ブール値 | 該当なし | いいえ |
| PartialMatch | 文字列の一致 | 0.0-1.0 | 0.5 | 不要 |
これらの結果が表示されない場合は、「 トラブルシューティング」を参照してください。