Microsoft 365 Copilot エージェント評価 CLI (@microsoft/m365-copilot-eval) は、環境変数から接続と認証の設定を読み取ります。 この記事では、各値を取得する場所について説明します。
変数の一覧と配置場所については、「 エージェント評価 CLI の概要 」と「 クイック スタート: エージェント評価 CLI を使用する」を参照してください。
注:
エージェント評価 CLI は現在プレビュー段階です。 機能と機能は変更される可能性があります。
開始する前に
値を収集する前に、次の項目を収集します。
- Foundry Models リソースでAzure OpenAI をホストするAzure サブスクリプションにアクセスします。
- Copilot エージェントがデプロイされている Microsoft 365 テナントへのサインイン アクセス。
- Azure OpenAI リソース (Cognitive Services 共同作成者や所有者など) のキーを表示するために必要なAzure ロール。 キーが表示されない場合は、サブスクリプション管理者に問い合わせてください。
テナント ID を取得する (TENANT_ID)
TENANT_IDは、エージェントがデプロイされるMicrosoft Entraテナント ID です。 これは、 xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxフォームの GUID です。
次のいずれかの方法を使用します。
オプション 1: Microsoft Entra 管理センター
- ターゲット テナントのアカウントを使用してMicrosoft Entra 管理センターにサインインします。
- [ Identity>Overview] を選択します。
- [テナント ID] の値をコピーします。
オプション 2: AZURE CLI
Azure CLI がインストールされている場合:
az account show --query tenantId --output tsv
複数のテナントに属している場合は、最初に正しいテナントにサインインします。
az login --tenant <tenant-domain-or-id>
オプション 3: Azure portal
- Azure portal にサインインし
- ポータル メニューから [Microsoft Entra ID] を選択します。
- [概要] ページからテナント ID をコピーします。
ヒント
runevals接続してもエージェントが見つからないと報告する場合、最も一般的な原因は、エージェントがデプロイされているテナントと一致しないTENANT_IDです。 「 テナントの不一致」を参照してください。
Azure OpenAI エンドポイントと API キーを取得する
評価ツールは、Azure OpenAI リソースを使用して応答をスコア付けします。 評価には、Azure OpenAI リソースのエンドポイント URL と API キーの両方が必要です。 Azure OpenAI エンドポイントは、任意のテナントまたはアカウントに存在できます。 評価ツールは、 AZURE_AI_OPENAI_ENDPOINT と AZURE_AI_API_KEYを使用して構成します。
Azure OpenAI リソースには、チャット モデルがデプロイされている必要があります。 既定では、CLI では gpt-4o-mini が使用されます。別のデプロイを使用するには、「 API のバージョンとモデルを設定する」を参照してください。
デプロイされたモデルを含むAzure OpenAI リソースがまだない場合は、次の手順に従って作成します。
Azure portal にサインインし
検索バーに「OpenAI」と入力し、結果から [Azure OpenAI] を選択します。
OpenAI Azure選択した後、[作成] を選択して AI Microsoft Foundry リソースを作成します。
[ AI Foundry リソースの作成 ] フォームで詳細を入力し、[ 確認と作成] を選択します。
リソースがデプロイされたら、Azure AI Foundry ポータルを開きます。
左側のナビゲーションで、[ モデルとエンドポイント] を選択します。
[モデルのデプロイ>基本モデルのデプロイ] を選択します。
gpt-4o-miniモデルを使用します。[ 確認] を選択し、[ カスタマイズ] を選択します。
容量を 1 分あたり 50,000 トークンに変更します。
[ デプロイ] を選択し、モデルがデプロイされるまで数分待ちます。
デプロイが完了すると、API エンドポイントと API キー ページにリダイレクトされます。 表示されているエンドポイントとキーの値をコピーします。
これらの値を env ファイルに追加します。 詳細については、 クイック スタートの手順 3 を参照してください。
警告
API キーをシークレットとして扱います。
.env.local.userまたはenv/.env.<environment>に保存します。ソース管理には保存しないでください。 プロジェクトの種類に適したファイルの 環境変数の構成 に関するページを参照してください。
エージェント ID を取得する (M365_AGENT_ID)
M365_AGENT_ID は、テスト プロンプトを送信 runevals Copilot エージェントを識別します。 CLI では、次の 2 つの形式を使用できます。
- ユーザー スコープ:
U_xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx - テナントスコープ:
T_<agent-name>.declarativeAgent
Microsoft 365 Agents Toolkit プロジェクト
Microsoft 365 Agents Toolkit を使用してエージェントを構築した場合は、 M365_AGENT_ID を直接設定する必要はありません。 CLI は、エージェント ツールキットがプロビジョニング中に.env.localに書き込むM365_TITLE_IDからエージェント ID を自動検出します。
確認するには、プロジェクト ルートで .env.local を開き、次のような行を探します。
M365_TITLE_ID="U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
Microsoft 365 エージェント以外のツールキット プロジェクト
env/.env.<environment>で明示的にM365_AGENT_ID設定します。 エージェントが発行された場所 (Microsoft Teams管理センター、Microsoft 365 管理センター、発行パイプラインからのデプロイ出力など) から値を取得します。
実行時にエージェントをオーバーライドする
env ファイルを編集せずに別のエージェントを評価するには、コマンド ラインで --m365-agent-id を渡します。
runevals --m365-agent-id "U_0dc4a8a2-b95f-edac-91c8-d802023ec2d4"
詳細については、CLI リファレンスの「 --m365-agent-id 」を参照してください。
API のバージョンとモデルを設定する
2 つの変数によって、OpenAI REST API のバージョンAzureと、CLI でスコア付けに使用するモデル デプロイが制御されます。 これらは既定で動作するため、既定値をそのまま使用するか、env ファイルで明示的に設定できます。
AZURE_AI_API_VERSION="2024-12-01-preview" # version
AZURE_AI_MODEL_NAME="gpt-4o-mini" # actual name in Foundry
| 変数 | 既定値 | 変更するタイミング |
|---|---|---|
AZURE_AI_API_VERSION |
2024-12-01-preview |
リソースには、別のAzure OpenAI REST API バージョンが必要です。 |
AZURE_AI_MODEL_NAME |
gpt-4o-mini |
Azure OpenAI リソースで別のデプロイでスコアを付ける必要があります。 |
AZURE_AI_MODEL_NAMEは、Azure OpenAI リソースに表示されるデプロイ名と正確に一致している必要があります。
Foundry から AZURE_AI_MODEL_NAME を取得する
- Azure portalにサインインし、Azure OpenAI リソースを開きます。
- [ リソース管理>Model デプロイ ] を選択します (または、Foundry でリソースを開きます)。
- スコアリングに使用するモデルの デプロイ名 をコピーします。
値を検証する
値を収集し、適切な env ファイルに追加した後 ( クイック スタートの手順 3 を参照)、次を実行します。
runevals --init-only --log-level debug
このコマンドは、環境を読み込み、Python ランタイムを初期化し、評価を実行せずに構成エラーを表示します。 エラーなしで完了すると、値が正しく読み込まれます。
警告
--log-level debug 生の API ペイロードが出力される場合があります。 共有する前に出力を確認します。 Redaction はパターン ベースであり、すべてのキーまたは識別子をキャッチしない場合があります。
トラブルシューティング
次の表を使用して、発生する可能性のある問題のトラブルシューティングを行います。
| 現象 | 考えられる原因 | 次の手順 |
|---|---|---|
| 起動時の認証エラー | 間違った Microsoft 365 アカウントにサインインしているか、エージェントのテナントと一致しない TENANT_ID 。 |
「認証エラー」を参照してください。 |
| ツールは接続しますが、エージェントが見つかりません |
TENANT_ID 一致しないか、エージェントがそのテナントにデプロイされていません。 |
「 テナントの不一致」を参照してください。 |
| スコアリングが 401 または 403 で失敗する | 間違っているか期限切れの AZURE_AI_API_KEY、または異なるリソースのエンドポイント/キー。 |
OpenAI API キー エラーのAzureに関するページを参照してください。 |
| env ファイル内の値は無視されます | 優先順位の前の別の env ファイルは、同じ変数を設定します。 | 「環境ファイルの優先順位」を参照してください。 |