你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

Microsoft Foundry 体系结构

Microsoft Foundry 通过分层体系结构组织 AI 工作负载：用于治理的顶级 Foundry 资源、用于开发隔离的项目，以及用于存储、搜索和机密管理的连接的Azure服务。

本文为 IT 运营和安全团队提供了有关 Foundry 资源和基础Azure服务体系结构、组件以及与其他Azure资源类型的关系的详细信息。 使用此信息指导如何根据组织的要求自定义 Foundry 部署。 有关如何在组织中推出 Foundry 的详细信息，请参阅 Foundry 推出。

何时使用此架构

如果方案涉及以下情况，请考虑 Foundry 资源模型：

  • 首次设置：你正在启动一个新的 AI 项目，并希望单个资源捆绑模型访问、代理托管和评估工具。
  • 多团队访问权限：多个团队需要具有共享模型部署和集中式治理的独立项目。
  • 合规驱动的设计：你的组织需要专用网络、客户管理的加密，或者在资源和项目级别进行 Azure RBAC 范围限定。
  • Azure OpenAI 迁移：你要从独立Azure OpenAI 资源移动，并希望在添加代理和评估功能的同时保留现有策略和 RBAC。

对于单个开发者的探索性工作，推荐默认使用一个包含一个项目的 Foundry 资源。 如果工作负荷只需要Azure OpenAI 完成，而无需代理托管或评估，则独立Azure OpenAI 资源可能就足够了。

Azure AI 资源类型和提供程序

在 Azure AI 产品系列中，可以使用这些Azure资源提供程序来支持堆栈中不同层的用户需求。

资源提供者 目的 支持的服务
Microsoft.CognitiveServices 支持代理和 GenAI 应用程序开发组合和自定义预生成模型。 铸造;Azure OpenAI;Azure 语音工具在铸造工具中;Azure 语言工具在铸造工具中;Azure 视觉工具在铸造工具中
Microsoft。搜索 支持对您的数据进行知识检索 Azure AI 搜索

对于大多数 AI 开发方案（包括代理生成、模型部署和评估工作流），Foundry 资源是建议的起点。 Foundry 资源与 Azure OpenAI、语音、视觉和语言等服务共享 Microsoft.CognitiveServices 提供程序命名空间。 此共享提供程序命名空间有助于在相关 AI 资源之间，在管理 API、访问控制模式、网络和策略行为方面实现一致性。

使用下表确定哪些资源类型与工作负荷匹配。 它显示了 Microsoft.CognitiveServices 提供程序中的特定资源类型和功能：

资源类型 资源提供者和类型 种类 支持的功能
Microsoft Foundry Microsoft.CognitiveServices/accounts AIServices 代理、评估、Azure OpenAI、语音、视觉、语言和内容理解
铸造厂项目 Microsoft.CognitiveServices/accounts/projects AIServices 上述子资源
Azure 语音在 Foundry 工具中 Microsoft.CognitiveServices/accounts Speech 语音
Foundry 工具中的 Azure 语言功能 Microsoft.CognitiveServices/accounts Language 语言
Azure 视觉在 Foundry 工具中 Microsoft.CognitiveServices/accounts Vision 视觉

同一提供程序命名空间下的资源类型共享相同的管理 API，并使用类似的Azure基于角色的访问控制（Azure RBAC）操作、网络配置和Azure Policy配置的别名。 如果要从 Azure OpenAI 升级到 Foundry，则现有的自定义Azure策略和Azure RBAC 操作将继续应用。

Foundry 资源层次结构

下图显示了具有模型部署、安全设置、连接和两个项目的 Foundry 资源。 连接的 Azure 服务，例如 Azure 存储、Key Vault 和 Azure AI Search，是在其自己的治理边界下的独立 Azure 资源。

Diagram 显示 Foundry 资源层次结构，其中包含包含模型部署、安全设置、连接和两个项目的治理边界。存储、Key Vault和Azure AI Search等连接资源显示为单独的治理边界。

重要

存储、Key Vault和Azure AI Search等连接的资源是具有自身治理边界的独立Azure资源。 您可以独立于 Foundry 资源来管理这些资源的网络、访问策略和合规性设置。

在规划架构和访问边界时使用此模型：

  • Foundry 资源：这是一个 Azure 的顶级资源，用于管理网络、安全和模型部署等治理设置。
  • Project：开发边界位于 Foundry 资源内，团队在此生成和评估用例。 项目允许团队在预配置环境中创建原型，重复使用现有模型部署和连接，而无需重复进行 IT 设置。
  • 项目资产：限定在项目范围内的文件、代理、评估和相关工件。
  • 已连接资源：Foundry 资源通过连接引用的 Azure 服务，例如存储、密钥保管库和 Azure AI 搜索。 这些资源具有单独的治理边界，因此可以独立管理其网络和访问策略。

这种分离允许 IT 团队在资源级别应用集中控制，而开发团队在project级边界内工作。

注释

项目范围内提供了大多数新的 API。 但是，最初通过 Azure OpenAI、语音、视觉和语言服务在帐户级别支持的某些功能仅在 Foundry 资源级别提供，而不适用于项目范围。 例如，翻译器 API 仅适用于 Foundry 资源级别。 根据工作负荷所需的 API 范围规划部署结构。

安全驱动的关注点分离

Foundry 强制在管理和开发操作之间进行明确的分离，以确保安全且可扩展的 AI 工作负载。

顶级资源治理

顶级 Foundry 资源涉及的管理操作包括配置安全性、与其他 Azure 服务建立连接，以及管理部署。 专用项目容器隔离开发活动，并提供访问控制、文件、代理和评估的边界。

基于角色的访问控制

Azure RBAC 操作反映了这种关注点分离。 控制平面作（如创建部署和项目）不同于数据平面作，例如生成代理、运行评估以及上传文件。 可以在顶级资源和单个项目级别限定 RBAC 分配范围。 在任一范围内分配托管标识，以支持安全的自动化和服务访问。 有关详细信息，请参阅Microsoft Foundry 的基于角色的访问控制。

最小特权入职的常见入门任务包括：

  • 位于 Foundry 资源范围内的每个开发人员用户主体的 Azure AI 用户。
  • 适用于 Foundry 资源范围内的每个项目托管标识的 Azure AI 用户。

有关角色定义和范围规划指南，请参阅基于 Microsoft Foundry 的访问控制。

监视和可观测性

Azure Monitor按范围细分指标。 可以在顶级资源中查看管理和使用指标，而项目特定的指标（例如评估性能或代理活动）的范围仅限于单个项目容器。

关键监视功能包括：

  • 资源级指标：令牌消耗、模型延迟、请求计数和所有项目中的错误率。
  • Project级指标：评估运行结果、代理调用计数和文件操作活动。
  • 诊断日志记录功能：启用诊断设置，将日志路由到 Log Analytics、存储服务或事件中心进行分析和保留。

有关详细信息，请参阅 Azure Monitor 概述。

计算基础结构

Foundry 管理用于模型托管、代理执行和批处理的计算基础结构。 本部分介绍部署类型、代理和评估基础结构、虚拟网络集成、租户隔离、内容安全控制以及区域可用性。

模型部署类型

Foundry 支持多个部署类型进行模型托管，按数据处理范围分组：全局（跨区域）、数据区域（在定义的边界内）和区域（单个区域）。 每种类型以不同的方式平衡延迟、吞吐量和数据处理位置：

部署类型 数据处理 账单管理
全球标准 跨区域，由Azure托管 按令牌付费
全局预配 跨区域，由Azure托管 每小时预留容量
全局批处理 跨区域，由Azure托管 批量令牌定价
数据区域标准 在数据区域边界内 按令牌付费
预配的数据区域 在数据区域边界内 每小时预留容量
数据区域批处理 在数据区域边界内 批量令牌定价
标准 单个区域 按令牌付费
区域预配 单个区域 每小时预留容量
开发人员 任何Azure区域（无数据驻留保证） 按词元付费（仅限微调模型评估；生命周期 24 小时；无 SLA）

有关如何选择正确的部署类型的详细信息，请参阅 Foundry 模型的部署类型。

代理、评估和批处理

代理、评估和批处理作业由Microsoft完全管理。 代理工作负载在平台的容器基础结构中运行，该基础结构支持网络隔离方案的 虚拟网络集成 。 评估调用模型终结点、将输出与评分条件进行比较，并将结果存储在项目范围内。 批处理队列将推理请求排队，以便以更低的每词元价格异步执行。 可通过门户或 SDK 访问所有三种工作负荷类型的结果。

虚拟网络集成

代理连接外部系统时，可以使用 容器注入 技术隔离网络流量，此时平台会将一个子网注入到您的虚拟网络中，从而在同一个虚拟网络内实现与 Azure 资源的本地通信。

Foundry 支持两种用于出站隔离的网络模型：

型号 工作原理 权衡
客户管理的 VNet （BYO） 你提供 VNet 和委托给 Microsoft.App/environments 的专用子网。 该平台集成到您的子网中，实现与专用Azure资源的本地通信。 完全控制网络配置；需要您自行管理网络。
托管 VNet（预览版） Foundry 代表你管理 VNet。 更简单的设置;限制自定义选项。 有关详细信息，请参阅 “配置托管虚拟网络”。

注释

某些网络隔离方案需要 SDK 或 CLI，而不是门户。 例如，使用阻止所有公共访问的专用终结点的部署无法通过门户 UI 进行配置。 有关详细信息，请参阅 如何为 Foundry 配置private link。

租户隔离

每个 Foundry 资源在逻辑隔离的环境中运行工作负荷。 客户代码不会与其他租户共享运行时容器。

内容安全和防护措施

Foundry 将内容安全控制集成到模型和代理推理管道中。 防护措施定义了检测风险、扫描干预点（用户输入、输出、工具调用（预览）和工具响应（预览版），以及检测到风险时响应操作。 内容筛选器使用模型请求内联运行，并且可以按部署进行配置。 有关详细信息，请参阅防护措施和控制概述和内容筛选严重性级别。

区域可用性

计算功能因Azure区域而异。 模型可用性、部署类型选项和功能支持（例如代理或评估）可能因区域而异。 在预配之前，确认目标区域支持所需的功能。 有关当前可用性，请参阅 跨云区域的功能可用性。

数据存储

Foundry 提供灵活且安全的数据存储选项来支持各种 AI 工作负载。

用于文件上传的托管存储

在默认设置中，Foundry 使用逻辑分隔的Microsoft托管存储帐户，并支持直接上传文件以用于选择用例（例如 OpenAI 模型和代理），而无需客户提供的存储帐户。

自带存储空间

可以选择连接自己的Azure Storage帐户。 Foundry 工具如评估和批处理可以从这些帐户读取输入并将输出写入其中。 有关受支持的方案的详细信息，请参阅以自带资源使用智能体服务。

代理状态存储

  • 使用 basic 代理设置，代理服务会将线程、消息和文件存储在Microsoft托管的多租户存储中，逻辑分离。
  • 使用 标准代理设置，可为所有客户数据（包括文件、聊天和矢量存储）自带Azure资源。 在此配置中，数据由存储帐户中的项目隔离。

客户管理的密钥加密

默认情况下，Azure 服务会使用由 Microsoft 管理的密钥，通过符合 FIPS 140-2 标准的 256 位 AES 加密来加密静态和传输状态下的数据。 不需更改代码。

若要改用自己的密钥，请在为 Foundry 启用客户管理的密钥之前确认以下先决条件：

  • Key Vault部署在与 Foundry 资源相同的Azure区域中。
  • 软删除和清除保护在Key Vault上启用。
  • 托管标识具有所需的密钥权限，例如在使用 Azure RBAC 时需要具备“密钥保管库加密用户”角色权限。

创建自己的密钥保管库

默认情况下，Foundry 将所有基于 API 密钥的连接机密存储在托管Azure Key Vault中。 如果希望自己管理机密，请将密钥保管库连接到 Foundry 资源。 一个Azure Key Vault连接管理所有项目和资源级连接机密。 有关详细信息，请参阅 如何设置与 Foundry 的Azure Key Vault连接。

若要了解有关数据加密的详细信息，请参阅 使用 Foundry 进行加密的客户管理的密钥。

数据驻留和合规性

Foundry 将静态所有数据存储在指定的Azure地理位置中。 推理数据（提示和补全）根据部署类型进行处理：全局部署可能会路由到任何 Azure 区域，数据区域部署保留在美国或欧盟区域内，标准或区域部署在部署区域内处理。 有关详细信息，请参阅 部署类型。 Foundry 不支持自动跨区域故障转移。 如果组织需要多区域可用性，请在每个目标区域中部署单独的 Foundry 资源，并在应用程序层管理数据同步和路由。 有关合规性认证详细信息，请参阅Azure合规性文档。

验证体系结构决策

在推出之前，请针对目标环境验证以下内容：

相关内容

  • Last updated on