管理者接続モデルは、管理者が Foundry プロジェクトに接続する、Azure API Managementや非Azure AI モデル ゲートウェイなど、エンタープライズ AI ゲートウェイの背後でホストされるモデルです。 モデルのデプロイを受け入れるクラウド評価シナリオには、管理者に接続されたモデルを使用できます。
Foundry は、接続エンドポイントと認証 (API キー、マネージド ID、OAuth 2.0 認証など) を解決します。 評価要求は、ゲートウェイ エンドポイントやその資格情報ではなく、接続とデプロイを参照します。
Important
クラウド評価では、接続されたデプロイで OpenAI チャット入力候補 API が公開されている場合にのみ、管理者に接続されたモデルがサポートされます。
Note
クラウド評価での管理者接続モデルのサポートはプレビュー段階であり、一部のリージョンでは利用できない場合があります。
[前提条件]
- フォンドリー プロジェクト。
- Foundry プロジェクトのFoundry Userロール。
- 管理者が Foundry リソースにAzure API ManagementまたはAzure以外の AI モデル ゲートウェイ接続を作成し、[管理>リソースの詳細>Admin に接続されたモデル] タブにモデルを追加しました。セットアップ手順については、「Foundry Agent Service に独自のモデルを持ち込む」を参照してください。
- OpenAI Chat Completions API をサポートするモデルの接続名とデプロイ名。
管理者に接続されたモデルを参照する
サポートされている評価シナリオがモデルのデプロイを受け入れる任意の場所で、次の形式を使用します。
<connection-name>/<deployment-name>
次の表は、一般的な評価サーフェイスと、参照を受け入れるフィールドを示しています。
| Scenario | フィールド |
|---|---|
| AI 支援エバリュエーター (ジャッジ) | initialization_parameters.model |
| モデルの目標 | target.model |
| 会話シミュレーション | item_generation_params.model |
管理者接続モデルをエバリュエータージャッジ モデルとして使用する
AI 支援エバリュエーターを構成するときに initialization_parameters.model を設定します。 この例では、管理者接続モデルをコヒーレンス エバリュエーターのジャッジとして使用します。
from azure.ai.projects.models import TestingCriterionAzureAIEvaluator
admin_connected_model = "my-apim-connection/gpt-4o"
testing_criteria = [
TestingCriterionAzureAIEvaluator(
type="azure_ai_evaluator",
name="coherence",
evaluator_name="builtin.coherence",
initialization_parameters={"model": admin_connected_model},
data_mapping={
"query": "{{item.query}}",
"response": "{{item.response}}",
},
),
]
管理者接続モデルをターゲットとして使用する
target.modelを設定して、各評価入力を管理者接続モデルに送信します。
admin_connected_model = "my-apim-connection/gpt-4o"
target = {
"type": "azure_ai_model",
"model": admin_connected_model,
"sampling_params": {
"top_p": 1.0,
"max_completion_tokens": 2048,
},
}
このターゲットは、「 クラウドでの評価の実行」で説明されているモデル ターゲット評価フローで使用します。
その他の評価シナリオを使用する
「Microsoft Foundry SDK を使用したクラウドでの評価の実行」の他のモデルベースのシナリオは、管理者に接続されたモデルでも同様に機能します。 サポートされているモデルデプロイを受け入れるシナリオの場合は、デプロイ名を <connection-name>/<deployment-name>に置き換えます。 たとえば、会話シミュレーションでは、この参照を item_generation_params.modelで受け入れます。
Foundry プロジェクト エンドポイントを変更せずに、ゲートウェイ エンドポイントまたは資格情報を評価要求に追加しないでください。 Foundry は、管理接続されたモデル接続からこれらの値を解決します。
Note
管理接続モデルは、合成データの生成には使用できません。