エージェント評価 CLI (プレビュー) のトラブルシューティング

この記事では、Microsoft 365 Copilot エージェント評価 CLI のトラブルシューティング情報を提供します。 問題は、影響を受けるワークフローのステージ (セットアップ、認証、ランタイム、環境) によってグループ化されます。

注:

エージェント評価 CLI は現在プレビュー段階です。 機能と機能は変更される可能性があります。

セットアップの問題

インストール中または初めて CLI を実行するときに発生する問題。

インストールエラー

npm install -g @microsoft/m365-copilot-evalが失敗した場合:

  • Node.js 24.12.0 以降を実行していることを確認します: node --version
  • グローバル npm パッケージをインストールするアクセス許可があることを確認します。 Unix/macOS では、 sudo または nvm で管理される Node のインストールが必要になる場合があります。
  • 企業プロキシの背後にいる場合は、「 ネットワークまたはプロキシの問題」を参照してください。

runevals コマンドが見つかりません

インストール後に runevals コマンドが認識されない場合:

# Verify the package is installed globally
npm list -g @microsoft/m365-copilot-eval

# Reinstall if missing
npm install -g @microsoft/m365-copilot-eval

パッケージが一覧表示されていてもコマンドが見つからない場合は、npm グローバル bin ディレクトリがPATH上にあることをチェックします。

npm bin -g

出力ディレクトリが見つからない場合は、 PATH に追加します。

Python 環境を事前キャッシュする

このツールは、最初の実行時に Python ランタイムと依存関係をダウンロードします。 評価を実行せずに環境を事前に設定するには:

runevals --init-only

これは、次の場合に役立ちます。

  • CI/CD パイプラインでキャッシュを事前にウォームアップする。
  • 評価を実行せずにセットアップをテストする。
  • インストールの問題を評価の問題から分離する。

セットアップ自体をトラブルシューティングするには、デバッグ ログと組み合わせてください。

runevals --init-only --log-level debug

認証に関する問題点

テナント、エージェント、または Azure OpenAI 資格情報に関する問題。

認証エラー

認証に失敗した場合:

  • TENANT_IDが、エージェントがデプロイされているテナントと一致するかどうかを確認します。
  • Windows で実行していることを確認します。 他のオペレーティング システムのサポートは近日公開予定です。
  • 正しい Microsoft 365 アカウントにサインインしていることを確認します。
  • 複数のテナントを使用している場合は、 runevalsを実行する前に他のアカウントからサインアウトします。

テナントの不一致

ツールが接続してもエージェントが返されない場合、 TENANT_ID がエージェントがデプロイされているテナントと一致しない可能性があります。 次を実行してテナント ID を確認します。

az account show --query tenantId

「必須環境変数」の手順に従うこともできます。

OpenAI API キー エラーのAzure

評価スコアリングが 401 または 403 エラーで失敗した場合:

  • AZURE_AI_API_KEYが正しく、期限切れではないことを確認します。
  • AZURE_AI_OPENAI_ENDPOINTキーが属するリソースと一致することを確認します。
  • Azure OpenAI リソースにgpt-4o-mini (または AZURE_AI_MODEL_NAME で設定されたモデル) がデプロイされていることを確認します。

ランタイムの問題

セットアップが成功した後に評価を実行するときに発生する問題。

エージェントが見つかりません

ツールでエージェントが見つからない場合:

  • M365_AGENT_IDが正しいことを確認します。 Agents Toolkit プロジェクトの場合、CLI は.env.localM365_TITLE_IDから自動検出するため、代わりにその値をチェックします。「エージェント ID を取得する」を参照してください。
  • エージェントが、 TENANT_IDで指定されたテナントにデプロイされていることを確認します。
  • エージェントにアクセスするためのアクセス許可があることを確認します。
  • エージェント ID を明示的に指定してみてください: runevals --m365-agent-id "<your-agent-id>"

評価エラー

評価が開始されるが、実行中に失敗した場合:

  • 詳細ログを使用してを実行して、詳細なエラーを確認します: runevals --log-level debug
  • 一般的なエラー カテゴリの終了コードを確認します。 CLI リファレンスの 「終了コード 」を参照してください。

警告

--log-level debug オプションには、コンソール出力に生の API ペイロードと応答データが含まれる場合があります。 Redaction はパターン ベースであり、すべての PII またはカスタム資格情報をキャッチしない場合があります。 手動レビューなしでデバッグ レベルの出力をパブリックに共有しないでください。

環境に関する問題

キャッシュされた Python ランタイム、キャッシュ ディレクトリ、またはネットワーク接続に関する問題。

キャッシュの問題

評価ツールは、Python ランタイムと依存関係にローカル キャッシュを使用します。

# View cache info
runevals cache-info

# Clear and rebuild the cache
runevals cache-clear
runevals --init-only --log-level debug

アクセス許可の問題

アクセス許可エラーでキャッシュ操作が失敗した場合:

# View the cache directory path
runevals cache-dir

# Fix permissions (Unix/macOS)
chmod -R u+w $(runevals cache-dir)

# Fix permissions (Windows PowerShell)
icacls "$(runevals cache-dir)" /grant ${env:USERNAME}:F /T

ネットワークまたはプロキシの問題

企業プロキシの背後で初期化が失敗した場合:

# Set proxy (Unix/macOS)
export HTTPS_PROXY=http://proxy:8080
export HTTP_PROXY=http://proxy:8080

# Set proxy (Windows PowerShell)
$env:HTTPS_PROXY="http://proxy:8080"
$env:HTTP_PROXY="http://proxy:8080"

# Retry initialization with verbose output
runevals --init-only --log-level debug

サポートを受ける

上記のトラブルシューティング手順で問題が解決しない場合は、 M365 Copilot Agent Evaluations GitHub リポジトリに問題を提出してください。

問題を提出する前に、次の情報を収集します。

  • CLI バージョン: runevals --version
  • 実行した正確なコマンド。
  • エラー出力 (PII、キー、またはテナント固有の識別子を編集します)。
  • オペレーティング システムと Node.js バージョン: node --version

問題を報告するには: