将自己的 AI 网关引入 Azure AI 代理服务（预览版）

使用 Azure AI 代理服务，可以连接和使用托管在企业 AI 网关后面的模型，例如 Azure API 管理 或其他 非 Azure 托管的 AI 模型网关。 此功能允许你保持对模型终结点的控制，同时利用 Foundry 的代理功能。

注释

此功能目前处于预览状态。 在启用此功能之前，请考虑预览条件。

此功能使组织能够：

• 保持对其模型终结点的控制。 通过现有企业基础设施实现对模型端点的安全保护。
• 安全地与企业网关集成。 请充分利用您现有的网关投资和安全策略。
• 生成利用模型的代理，而无需公开它们。
• 将组织的合规性和治理要求应用于 AI 模型访问。

查看关系图，了解从智能体服务到你的网关的潜在流及其背后的模型：

先决条件

• 有权访问 Microsoft Foundry 的 Azure 订阅。 在订阅中创建 Foundry 资源。
• 已安装 Azure CLI 和 代理 SDK。
• 访问你的企业 AI 网关的访问凭据（例如 API 管理或其他非 Azure AI 模型网关）。
• Foundry 示例的 GitHub 访问权限

AI 网关的连接

根据你选择使用的 AI 网关，可以从 Microsoft Foundry 创建到资源的两种不同连接。 有关这些连接的更多详细信息，请参阅 GitHub 上的示例

API 管理 （APIM） 连接

APIM 连接是为 Azure API 管理方案设计的专用模型网关连接。 这些连接提供智能默认值，并遵循 APIM 标准约定，同时与更广泛的模型网关生态系统集成。

连接提供：

• APIM 类别：使用 "category": "ApiManagement" 来进行适当的 APIM 专用处理。
• 智能默认值：未指定元数据时提供标准 APIM 终结点。
• 基于约定：遵循 Azure API 管理命名和路由模式。
• 灵活的替代：支持自定义 APIM 配置的元数据替代。
• 企业级准备：专为生产环境的 API 网关场景而设计。

特定于 APIM 的行为

• 默认终结点：未提供元数据时，APIM 连接使用以下默认值：

  • 列出部署：/deployments
  • 获取部署：/deployments/{deploymentName}
  • 供应商： AzureOpenAI

• 配置优先级：

  1. 显式元数据值（最高优先级）
  2. APIM 标准默认值（回退）

• 身份验证模式：

  • API 密钥：标准订阅密钥身份验证
  • Microsoft Entra ID：企业标识集成即将推出。

模型网关连接

模型网关连接提供统一接口，用于通过 Azure 机器学习工作区连接框架连接到各种 AI 模型提供程序。 这些连接支持静态模型配置（预定义模型）和动态模型发现（运行时模型检测）。 模型网关连接提供：

• 统一 API：多个 AI 提供程序的单一连接接口（Azure AI、OpenAI、MuleSoft 等）
• 身份验证：支持使用工作区凭据管理或 OAuth2 进行 API 密钥身份验证
• 发现模式：在静态模型列表或动态发现终结点之间进行选择
• 提供程序抽象：一致的模型格式，无论底层提供程序如何
• 企业集成：针对具有多个提供商的场景，支持使用像 MuleSoft 这样的企业网关

连接类别

所有 ModelGateway 连接使用 "category": "ModelGateway" 来确保通过模型网关服务基础设施正确路由。

发现方法

• 静态发现：使用模型数组在连接元数据中预定义模型。 最适合：

  • 动态发现不可行
  • 固定模型部署
  • 已知模型配置
  • 具有已批准的模型列表的企业方案

• 动态发现：使用 modelDiscovery 中定义的 API 终结点在运行时发现模型。 最适合：

  • 频繁更改模型部署
  • 由提供者管理的模型目录
  • 开发和测试方案

身份验证类型

支持的身份验证类型是 API 密钥或 OAuth 2.0，具体取决于连接类型。 对于 API 密钥，实际 API 密钥通过凭据系统安全地存储并引用。

创建模型网关连接

你将使用 Azure CLI 创建 模型网关类型的连接。

1. 导航到 GitHub 上的连接示例。 根据要求选择模型网关连接。

2. az deployment group create运行命令以创建连接。 例如：

   az deployment group create \
     --resource-group <your-resource-group> \
     --template-file [bicep-file-of-connection-type].bicep \
     --parameters @[parameters-file-of-connection-type].json
   

3. 通过在 Microsoft Foundry 门户中导航到 “管理员 ”来查看成功的连接创建。

使用 SDK 部署提示代理

创建连接后，部署使用模型网关连接的提示代理。

1. 导航到 代理 SDK 示例 ，使用 BYO AI 网关功能运行示例代理。

2. 使用代理 SDK 部署代理。 更新 env 变量，使模型名称为 [connection-name]/[model-name]. 例如：AZURE_AI_MODEL_DEPLOYMENT_NAME=my-apim-deployment-api-v2/gpt-4o

Validation

• 确认连接在 Foundry 中处于活动状态。 应会在 Foundry 门户的“Operate”-->“Admin”-->“Projects”-->“Connected resources”下看到连接信息。
• 通过发送示例提示来测试已部署的提示代理。

局限性

• 此功能目前为公共预览版。
• 只能使用 Azure CLI 和 SDK 来使用此功能。
• 由提示智能体在智能体 SDK 中支持。
• APIM 或其他自承载网关支持公用网络。 若要设置完整的网络隔离，请在 Foundry 中启用标准安全代理，并通过虚拟网络注入进行配置。 如果使用 APIM 作为 AI 网关，并且需要完全网络隔离，请 遵循此 GitHub 模板部署 Foundry 和 APIM。 如果使用自承载网关作为 AI 网关，并且需要完全网络隔离，请确保网关的终结点可以在智能体服务使用的虚拟网络集成中访问。
• 此功能支持的代理工具包括 CodeInterpreter、Functions、文件搜索、OpenAPI、Foundry IQ、Sharepoint Grounding、Fabric 数据代理、MCP 和浏览器自动化。
• 此功能不同于 Foundry 中的 AI 网关功能，因为在 Foundry 资源中部署了一个新的、独特的 APIM 实例。 有关此功能的详细信息，请参阅 使用 AI 网关强制实施令牌限制。