管理員連結模型是託管於企業 AI 閘道後方的模型,例如 Azure API 管理 或非 Azure 的 AI 模型閘道,管理員將這些閘道連接到你的 Foundry 專案。 你可以使用與管理員連接的模型來進行接受模型部署的雲端評估情境。
Foundry 解決連線端點與認證,包括 API 金鑰、管理身份或 OAuth 2.0 認證。 你的評估請求是參考連線和部署,而不是閘道端點或其憑證。
Important
雲端評估僅在連接部署暴露 OpenAI 聊天完成 API 時,才支援管理員連接模型。
Note
雲端評估中的管理員連結模型支援目前仍處於預覽階段,可能不適用於所有區域。
先決條件
- 一個 鑄造廠的專案。
- Foundry 專案中的 Foundry 使用者角色。
- 管理員已在您的 Foundry 資源上建立了 Azure API 管理 或非 Azure AI 模型閘道連線,並在管理>資源詳情>管理員連接模型標籤中新增該模型。關於設定說明,請參見「將您自己的模型帶到 Foundry Agent Service」。
- 支援 OpenAI 聊天完成 API 的模型的連線名稱與部署名稱。
參考一個與管理員連結的模型
在支援的評估情境接受模型部署時,請使用以下格式:
<connection-name>/<deployment-name>
下表顯示常見的評估曲面及接受該參考的場:
| Scenario | Field |
|---|---|
| AI輔助評估員(法官) | initialization_parameters.model |
| 模型目標 | target.model |
| 會話模擬 | item_generation_params.model |
使用與管理員連結的模型作為評估者評審模型
設定在您設定 AI 輔助評估器時。initialization_parameters.model 此範例使用管理員連接模型作為一致性評估器的評判:
from azure.ai.projects.models import TestingCriterionAzureAIEvaluator
admin_connected_model = "my-apim-connection/gpt-4o"
testing_criteria = [
TestingCriterionAzureAIEvaluator(
type="azure_ai_evaluator",
name="coherence",
evaluator_name="builtin.coherence",
initialization_parameters={"model": admin_connected_model},
data_mapping={
"query": "{{item.query}}",
"response": "{{item.response}}",
},
),
]
使用與管理員連結的模型作為目標
設定 target.model 將每個評估輸入傳送至與管理員連接的模型:
admin_connected_model = "my-apim-connection/gpt-4o"
target = {
"type": "azure_ai_model",
"model": admin_connected_model,
"sampling_params": {
"top_p": 1.0,
"max_completion_tokens": 2048,
},
}
將此目標與「 在雲端執行評估」中描述的模型目標評估流程一起使用。
使用其他評估情境
其他基於模型的情境,透過使用 Microsoft Foundry SDK 在雲端執行評估,與管理員連結的模型也有類似效果。 當情境接受支援的模型部署時,將部署名稱替換為 <connection-name>/<deployment-name>。 例如,對話模擬接受此指 item_generation_params.model稱。
保持 Foundry 專案端點不變,且不要將閘道端點或憑證加入評估請求。 Foundry 會從管理員連接的模型連線中解析這些值。
Note
無法提供與管理員連結的模型來產生合成資料。