クイック スタート: Microsoft 365 Copilot 評価 CLI を使用する

Microsoft 365 Copilot Evaluations CLI (@microsoft/m365-copilot-eval) は、自動化されたプロンプト評価と AI ベースのスコアリングを通じて、エージェントの品質をテスト、測定、および改善するのに役立ちます。 このクイックスタートでは、CLI のインストール、環境の構成、最初のデータセットの作成、評価の実行について説明します。

注

このクイックスタートでは、CLI v1 (latest) を使用して、デプロイされたエージェントを評価します。 CLI v2 プレビュー、プラグイン シナリオ、新しい ToolCallSelection エバリュエーターと ToolCallExecution エバリュエーターについては、「 ツール呼び出しエバリュエーター」を参照してください。

重要

デプロイ済みの宣言型エージェントの場合は、ガイド付きワークフロー用の Work IQ Dev Tools から始めます。 Work IQ Dev Tools は、互換性のある Microsoft 365 Copilot Evaluations CLI バージョンを管理するため、@microsoft/m365-copilot-eval をグローバルにインストールする必要はありません。 低レベルのコマンド制御が必要な場合や、既存の runevals ワークフローを維持したい場合は、このクイックスタートに従います。

前提条件

開始する前に、次のことを確認してください。

  • テナントにデプロイされた Microsoft 365 Copilot エージェント。
  • Node.js 24.12.0 以降 (node --versionを使用してチェック)。
  • テナントで利用できる Copilot クレジット。 Microsoft 365 Copilot Evaluations CLI は、テスト プロンプトをエージェントに送信するときに Copilot クレジットを使用します。 テナント管理者は、Copilot>Cost Management ノードに移動して、Microsoft 365 管理センターで使用量ベース (従量制課金) の課金を有効にします。 詳細については、「 Copilot クレジットの管理」を参照してください。
  • 応答をスコアリングするためにデプロイされた GPT-5 モデルを含む Microsoft Foundry プロジェクト。 詳細については、 環境変数の値の取得を参照してください。
  • テナント内の Work IQ に付与された Microsoft Entra 管理者の同意。 テナント管理者でない場合は、初めて runevals を実行する前に管理者に同意を付与するよう依頼してください。 詳細については、「 管理者の同意を付与する」を参照してください。
  • テナント ID と Microsoft Foundry プロジェクト エンドポイント。 これらの値がない場合は、「 環境変数の値の取得」を参照してください。

注

このクイックスタートでは、Windows 開発環境を使用していることを前提としています。 他のオペレーティング システムの認証サポートは近日公開予定です。

手順 1: CLI をインストールする

NPM を使用して Microsoft 365 Copilot Evaluations CLI v1 をグローバルにインストールします。

npm install -g @microsoft/m365-copilot-eval@latest

インストールを確認します。

runevals --version

インストール後、 runevals コマンドはシステム上でグローバルに使用可能になります。

手順 2: プロジェクト構造を設定する

評価ツールのリポジトリからではなく、 Microsoft 365 エージェント プロジェクト ディレクトリ (エージェント コードが存在する場所) から評価ツールを実行します。

cd /path/to/your-agent-project

エージェント プロジェクトには、次のファイルとフォルダーが含まれている必要があります。

my-agent/
├── .env.local              # Agent configuration (Agents Toolkit projects)
├── .env.local.user         # Secrets — never committed
├── evals/
│   └── evals.json          # Your test dataset (auto-discovered)
└── .evals/
    └── <generated reports> # Results written here (YYYY-MM-DD_HH-MM-SS.html)

evals/evals.jsonデータセットは手順 4 で作成します。 .evals/ レポート フォルダーは、初回実行時に自動的に作成されます。

手順 3: 環境変数を構成する

プロジェクトの種類に一致するオプションを選択します。

ヒント

Microsoft 365 Agents Toolkit を使用してエージェントを構築した場合は、エージェント構成で既に .env.local があります。 プロジェクトのルートにシークレット用の .env.local.user を作成します。

Microsoft 365 Agents Toolkit プロジェクト

M365_AGENT_IDを直接設定するのではなく、CLI が .env.local のM365_TITLE_IDから自動的に検出します。 詳細については、「 エージェント ID を取得する」を参照してください。

.env.local.userにシークレットを追加します。

# .env.local.user (NOT checked in — secrets go here)
TENANT_ID="your-tenant-id-here"
AZURE_AI_PROJECT_ENDPOINT="https://<account>.services.ai.azure.com/api/projects/<project>"
AZURE_AI_MODEL_NAME="gpt-5-mini" # default

Microsoft 365 Copilot 評価 CLI は、Microsoft Entra で認証される Microsoft Foundry クラウド評価を使用して応答をスコアリングします。 runevals を実行する前に、Azure CLI (az login) を使用してサインインします。 これらの値の詳細については、 環境変数の値の取得を参照してください。

.gitignoreに.env.local.userを追加します。

# User-specific secrets — never commit
.env.local.user
env/.env.local.user

手順 4: 最初のデータセットを作成する

小さなプロンプト セットと期待される応答を使用して evals/evals.json を作成します。 この例では、1 ターンの評価に最も単純な有効なスキーマを使用します。

{
  "schemaVersion": "1.0.0",
  "items": [
    {
      "prompt": "What is Microsoft 365?",
      "expected_response": "Microsoft 365 is a cloud-based productivity suite that includes Office apps, cloud services, and device management."
    },
    {
      "prompt": "How do I share a file in Microsoft Teams?",
      "expected_response": "To share a file in Teams, you can upload it to a channel or chat, or share it from OneDrive with specific permissions."
    }
  ]
}

ヒント

この手順をスキップすると、最初に runevals を実行するときに、ツールによってサンプル プロンプトを含むスターター ファイルの生成が提案されます。

完全なデータセットスキーマ、カテゴリ、および高度なパターンについては、「 評価テストスイートの作成」を参照してください。

手順 5: 最初の評価版を実行する

Agents Toolkit プロジェクトの場合 (自動的に .env.local と .env.local.user を使用):

runevals

エージェント ツールキット以外のプロジェクトの場合:

runevals --env dev

手順 6: セットアップが成功したことを確認する

正常な実行では、次の結果が生成されます。

  • 次のような完了メッセージがターミナルに表示されます。

    Microsoft 365 Copilot Evaluations CLI
    
    Loading environment: dev
    Agent ID: T_my-agent.declarativeAgent
    Using prompts file: ./evals/evals.json
    
    Running evaluations...
    
    Evals completed successfully!
    Results saved to: ./.evals/2026-04-22_14-30-45.html
    
  • ブラウザーで自動的に開く ./.evals/YYYY-MM-DD_HH-MM-SS.html に保存された HTML レポート。

レポートには、各プロンプトのスコアが含まれます。

Evaluator Type [倍率] 既定のしきい値 既定値
関連性 LLM ベース 1 から 5 3 ○
コヒーレンス LLM ベース 1 から 5 3 はい
グラウンディングネス LLM ベース 1 から 5 3 なし
類似性 LLM ベース 1 から 5 3 なし
引用文献 カウントベース >= 0 1 ×
ExactMatch 文字列一致 ブール値 該当なし ×
PartialMatch 文字列一致 0.0-1.0 0.5 ×

これらの結果が表示されない場合は、「 トラブルシューティング」を参照してください。