在云评估中使用与管理员连接的模型

管理员连接的模型是托管在企业 AI 网关后面（例如Azure API 管理或非Azure AI 模型网关）的模型，管理员连接到 Foundry 项目。 可以将管理员连接的模型用于接受模型部署的云评估方案。

Foundry 解析连接终结点和身份验证，包括 API 密钥、托管标识或 OAuth 2.0 身份验证。 评估请求引用连接和部署，而不是网关终结点或其凭据。

Important

仅当连接的部署公开 OpenAI 聊天完成 API 时，云评估才支持管理员连接的模型。

注释

云评估中的管理员连接模型支持处于预览状态，可能无法在所有区域中使用。

先决条件

• Foundry 项目。
• 在 Foundry 项目中的 Foundry User 角色。
• 管理员已在 Foundry 资源上创建了Azure API 管理或非Azure AI 模型网关连接，并在“管理>资源详细信息>管理员连接模型”选项卡上添加了模型。有关设置说明，请参阅将自己的模型引入 Foundry 代理服务。
• 支持 OpenAI 聊天完成 API 的模型的连接名称和部署名称。

引用已连接管理员的模型

在受支持的评估方案接受模型部署的任何位置使用以下格式：

<connection-name>/<deployment-name>

下表显示了常见的评估图面和接受引用的字段：

情景	领域
AI 辅助评估程序（法官）	initialization_parameters.model
模型目标	target.model
对话模拟	item_generation_params.model

使用与管理员连接的模型作为评估程序判断模型

配置 AI 辅助计算器时设置 initialization_parameters.model 。 此示例使用与管理员连接的模型作为一致性计算器的法官：

from azure.ai.projects.models import TestingCriterionAzureAIEvaluator

admin_connected_model = "my-apim-connection/gpt-4o"

testing_criteria = [
    TestingCriterionAzureAIEvaluator(
        type="azure_ai_evaluator",
        name="coherence",
        evaluator_name="builtin.coherence",
        initialization_parameters={"model": admin_connected_model},
        data_mapping={
            "query": "{{item.query}}",
            "response": "{{item.response}}",
        },
    ),
]

将已连接管理员的模型用作目标

设置为 target.model 将每个评估输入发送到管理员连接的模型：

admin_connected_model = "my-apim-connection/gpt-4o"

target = {
    "type": "azure_ai_model",
    "model": admin_connected_model,
    "sampling_params": {
        "top_p": 1.0,
        "max_completion_tokens": 2048,
    },
}

将此目标与 云中运行评估中所述的模型目标评估流配合使用。

使用其他评估方案

使用 Microsoft Foundry SDK 在云中运行评估中的其他基于模型的方案同样适用于与管理员连接的模型。 无论方案接受受支持的模型部署，请将部署名称替换为 <connection-name>/<deployment-name>。 例如，对话模拟接受此引用。item_generation_params.model

保持 Foundry 项目终结点不变，不要将网关终结点或凭据添加到评估请求。 Foundry 从管理员连接的模型连接解析这些值。

注释

管理员连接的模型不适用于合成数据生成。

相关内容

• 使用 Microsoft Foundry SDK 在云中运行评估
• 将自带模型接入 Foundry Agent Service