Microsoft Foundry 透過分層架構組織 AI 工作負載:頂層 Foundry 治理資源、開發隔離專案,以及連接的 Azure 服務,用於儲存、搜尋與秘密管理。
本文為 IT 營運與資安團隊提供 Foundry 資源及其底層 Azure 服務架構、其組件,以及與其他 Azure 資源類型的關係的詳細資訊。 使用這項資訊來引導如何 自定義 您的 Foundry 部署,以符合組織的需求。 在組織中部署 Foundry 的更多資訊,請參閱 Foundry 部署。
使用此架構的時機
當您的情境涉及以下情況時,請考慮 Foundry 資源模型:
- 首次設定:你要開始一個新的 AI 專案,想要一個整合模型存取、代理主機和評估工具的單一資源。
- 多團隊存取:多團隊需要獨立專案,共享模型部署與集中治理。
- 合規驅動設計:您的組織需要在資源層級與專案層級都採用私有網路、客戶管理加密或Azure RBAC 範圍設定。
- Azure OpenAI 遷移:你們將從獨立Azure OpenAI 資源轉型,希望保留現有政策與 RBAC,同時加入代理與評估功能。
單一開發者進行探索時,建議使用擁有一個專案的 Foundry 資源作為預設選項。 如果你的工作負載只需要 Azure OpenAI 完成,且不需要代理主機或評估,那麼一個獨立的 Azure OpenAI 資源可能就足夠了。
Azure AI 資源類型與提供者
在 Azure AI 產品家族中,您可以使用這些 Azure資源提供者,支援堆疊不同層級的使用者需求。
| 資源提供者 | 目標 | 支援的服務 |
|---|---|---|
| Microsoft。認知服務 | 支援 Agentic 和 GenAI 應用程式開發撰寫和自定義預先建置的模型。 | 鑄造廠; Azure OpenAI; Foundry 工具中的 Azure 語音; Foundry 工具中的 Azure 語言; Foundry 工具中的 Azure 視覺 |
| Microsoft。搜尋 | 支持對您資料的知識檢索 | Azure AI 搜尋服務 |
對於大多數 AI 開發情境——包括代理建置、模型部署及評估工作流程——Foundry 資源是推薦的起點。 Foundry 資源共用 Microsoft。CognitiveServices 供應商命名空間,包含 Azure OpenAI、語音、視覺與語言等服務。 這個共享的提供者命名空間有助於管理 API、access control 模式、網路及政策行為在相關 AI 資源間保持一致。
請參考下表,找出哪種資源類型與你的工作負載相符。 它顯示了 Microsoft 內部的特定資源類型與能力。認知服務提供者:
| 資源類型 | 資源提供者和類型 | 種類 | 支援的功能 |
|---|---|---|---|
| Microsoft Foundry | Microsoft.CognitiveServices/account |
AIServices |
代理、評估、Azure OpenAI、語音、視覺、語言與內容理解(僅限 API;入口網站支援依地區而異) |
| 鑄造廠專案 | Microsoft.CognitiveServices/account/project |
AIServices |
上述子資源 |
| 鑄造工具中的 Azure 語音 | Microsoft.CognitiveServices/account |
Speech |
語音 |
| Azure Language 在 Foundry 工具中 | Microsoft.CognitiveServices/account |
Language |
語言 |
| Azure Vision in Foundry Tools | Microsoft.CognitiveServices/account |
Vision |
視覺 |
同一提供者命名空間下的資源類型共享相同的管理 API,並使用類似的Azure角色基礎存取控制(Azure RBAC)動作、網路配置及 Azure 原則 設定別名。 如果你是從 Azure OpenAI 升級到 Foundry,你現有的自訂 Azure 政策和 Azure RBAC 操作仍會繼續適用。
鑄造廠資源階層
下圖展示了一個 Foundry 資源,包含模型部署、安全設定、連線及兩個專案。 連接的 Azure 服務如 Storage、金鑰保存庫 和 Azure AI 搜尋服務,都是各自治理邊界下的獨立 Azure 資源:
這很重要
像 Storage、金鑰保存庫 和 Azure AI 搜尋服務 這類連接資源,都是獨立的 Azure 資源,擁有各自的治理邊界。 你要分別管理這些資源的網路、存取政策和合規設定,與 Foundry 資源分開。
規劃建築與 access 邊界時,請使用此模型:
- Foundry 資源:一個頂層的 Azure 資源,用於管理治理配置,如網路、安全及模型佈建。
- Project:Foundry 資源內的開發邊界,團隊在此建立與評估使用案例。 專案讓團隊能在預先設定的環境中進行原型設計,重複使用現有模型部署與連線,無需重複 IT 設定。
- 專案資產:檔案、代理、評估及相關產物,針對專案的範疇。
- Connected resources:如儲存、金鑰保存庫 及 Azure AI 搜尋服務 等 Azure 服務,是 Foundry 資源透過連線所參考的。 這些資源有獨立的治理邊界,因此你可以獨立管理它們的網路和存取政策。
這種分離讓 IT 團隊能在資源層級執行集中控制,而開發團隊則在 project 層級的範圍內工作。
備註
大多數新 API 在專案範圍內皆可使用。 然而,部分原本透過 Azure OpenAI 支援的帳戶層級功能,語音、視覺與語言服務,現僅在 Foundry 資源層級提供,而非專案範圍。 例如,Translator API 僅能從 Foundry 資源層級取得。 根據工作負載所需的 API 範圍來規劃部署結構。
以安全性為驅動的關注點分離
Foundry 明確區分管理與開發作業,確保 AI 工作負載安全且可擴展。
頂層資源治理
頂層的 Foundry 資源涵蓋管理作業,例如配置安全性、建立與其他 Azure 服務的連結,以及管理部署。 專用專案容器隔離開發活動,並為存取控制、檔案、代理程式及評估提供邊界。
角色型存取控制
Azure RBAC 的操作反映了這種關注點分離。 控制平面的動作,例如建立部署和專案,與資料平面的行動(如建置代理、執行評估和上傳檔案)是不同的。 你可以在頂層資源和個別專案層級對 RBAC 指派設定範圍。 在任一範圍內指派受管理的身分識別,以支援安全的自動化與服務訪問。 欲了解更多資訊,請參閱 Microsoft Foundry 的 基於角色的存取控制。
最常見的最低權限入職任務包括:
- Foundry 資源範圍內每個開發者使用者主體的 Azure AI 使用者。
- Azure AI 使用者 針對在 Foundry 資源範圍內每個專案的受管理身分識別。
關於角色定義與範圍規劃指引,請參見 Microsoft Foundry 基於角色的存取控制。
監視和可觀察性
Azure 監視器 按範圍分隔指標。 你可以在資源的頂層查看管理和使用指標,而專案專屬的指標,如評估性能或代理活動,則限定在個別的專案容器中。
主要監控功能包括:
- 資源層級指標:所有專案的代幣消耗、模型延遲、請求次數及錯誤率。
- Project 層級指標:評估執行結果、代理呼叫次數及檔案操作活動。
- 診斷日誌:啟用診斷設定,將日誌路由至Log Analytics、儲存或事件中心以進行分析與保存。
更多資訊請參見 Azure 監視器 overview。
運算基礎結構
Foundry 管理模型託管、代理執行及批次處理的計算基礎設施。 本節涵蓋部署類型、代理與評估基礎設施、虛擬網路整合、租戶隔離、內容安全控制及區域可用性。
模型部署類型
Foundry 支援多種模型寄存部署類型,依資料處理範圍分組:全球(跨區域)、資料區域(定義邊界內)及區域(單一區域)。 每種類型在延遲、吞吐量及資料處理位置上有不同平衡:
| 部署類型 | 數據處理 | 帳單 |
|---|---|---|
| 全域標準 | 跨區域,Azure 管理的 | 按代幣付費 |
| 全域佈建 | 跨區域,Azure 管理的 | 每小時預留容量 |
| 全域批次 | 跨區域,Azure 管理的 | 批次代幣定價 |
| 數據區標準 | 資料區邊界內 | 按代幣付費 |
| 資料區配置 | 資料區邊界內 | 每小時預留容量 |
| 資料區域批次 | 資料區邊界內 | 批次代幣定價 |
| 標準 | 單一區域 | 按代幣付費 |
| 區域佈建 | 單一區域 | 每小時預留容量 |
| 開發人員 | 任何 Azure 區域(不保證資料駐留) | 按代幣付費(僅限於精調模型評估;有效期 24 小時;無服務水平協議) |
關於如何選擇合適的部署類型,請參閱 Foundry 模型的部署類型。
代理、評估與批次處理
代理、評估與批次工作均由 Microsoft 完全管理。 代理工作負載運行於平台的容器基礎架構內,支援 虛擬網路整合 以應對網路隔離情境。 評估會引用模型端點,將輸出與評分標準進行比較,並將結果儲存在專案範圍內。 批次處理將推論請求排入佇列,以非同步方式執行並降低每個標記的價格。 三種工作負載類型的結果皆可透過入口網站或 SDK 存取。
虛擬網路整合
當你的代理連接外部系統時,你可以使用 container injection 隔離網路流量,平台會注入一個子網到你的虛擬網路,讓你能在同一虛擬網路內與你的Azure資源進行本地通訊。
Foundry 支援兩種外撥隔離網路模型:
| 型號 | 運作方式 | 取捨 |
|---|---|---|
| 客戶管理的VNet(BYO) | 你提供 VNet 以及一個專門分派給 Microsoft.App/environments 的子網。 平台將納入你的子網路,使其能與本地的私有 Azure 資源進行通訊。 |
完全控制網路配置;需要你自己管理網路。 |
| Managed VNet (preview) | Foundry 代表你管理 VNet。 | 較簡單的設定;限制了自訂選項。 詳情請參見 「配置受管理虛擬網路」。 |
備註
有些網路隔離的情境需要 SDK 或 CLI 來取代入口網站。 例如,部署中封鎖所有公開存取的私有端點,無法透過入口網站介面設定。 詳情請參見 如何設定 Foundry 的私人連結。
租戶隔離
工作負載在每個 Foundry 資源中邏輯隔離的環境中運行。 客戶程式碼不會與其他租戶共用執行時容器。
內容安全與護欄
Foundry 將內容安全控制整合進模型與代理推論流程中。 護欄定義了要偵測的風險、介入指標的掃描(使用者輸入、輸出、工具呼叫(預覽)及工具回應(預覽)),以及偵測到風險時的回應行動。 內容過濾器會與模型請求內聯運作,並可依次部署進行配置。 欲了解更多資訊,請參閱 「護欄與控制總覽 」及 「內容過濾嚴重程度等級」。
區域可用性
計算能力會因 Azure 區域而異。 模型可用性、部署類型選項及功能支援(如代理或評估)可能因地區而異。 在配置前,請確認你的目標區域是否支援所需功能。 關於目前的可用性,請參閱「 跨雲端區域的功能可用性」。
資料儲存
Foundry 提供靈活且安全的資料儲存選項,以支援各種 AI 工作負載。
用於檔案上傳的受管控儲存系統
預設設定中,Foundry 使用由 Microsoft 管理的儲存帳號,這些帳號邏輯上分離,並支援針對特定使用情境(如 OpenAI 模型與代理程式)直接上傳檔案,無需客戶提供的儲存帳號。
自備儲存裝置
你可以選擇性地連結你自己的 Azure 儲存體 帳號。 鑄造工作用的工具,如評估和批次處理,可以從這些帳戶讀取輸入並將輸出寫入其中。 有關支援情境的詳細資訊,請參閱 Agent 服務的自備資源。
代理狀態儲存
- 透過 Basic 代理設定,代理服務將執行緒、訊息與檔案儲存在Microsoft管理的多租戶儲存中,並進行邏輯分離。
- 透過 標準客服配置,您可以自備Azure資源,涵蓋所有客戶資料——包括檔案、對話及向量存儲。 在此配置中,資料會依專案在儲存帳戶中隔離。
客戶管理的金鑰加密
預設情況下,Azure 服務使用由 Microsoft 管理的金鑰,並採用符合 FIPS 140-2 標準的 256 位元 AES 加密,進行靜態及傳輸中的資料加密。 不需要變更程式碼。
若要改用您自己的金鑰,請在啟用 Foundry 的客戶管理金鑰前確認以下先決條件:
- 金鑰保存庫 部署在與你的 Foundry 資源相同的 Azure 區域。
- 金鑰保存庫 已啟用軟刪除與清除保護。
- 管理身份需要關鍵權限,例如使用 Azure RBAC 時的 金鑰保存庫加密用戶角色。
自備 金鑰保存庫
預設情況下,Foundry 會將所有基於 API 金鑰的連線秘密存放在受管理的 Azure Key Vault 中。 如果你喜歡自己管理秘密,可以把你的金鑰保險庫連接到 Foundry 資源。 一個 Azure Key Vault 連線管理所有專案及資源層級的連線秘密。 欲了解更多資訊,請參閱 如何設定與 Foundry 的Azure Key Vault連線。
欲了解更多資料加密資訊,請參閱 Foundry 的客戶管理加密金鑰。
數據落地與合規性
Foundry 將所有靜態資料儲存在指定的 Azure 地理區域。 推論資料(提示與完成)依部署類型處理:全域部署可路由至任一 Azure 區域,資料區域部署則留在美國或歐盟區域內,標準或區域部署則在部署區域內進行。 詳情請參見 部署類型。 Foundry 不支援自動跨區域故障轉移。 若貴組織需要多區域可用性,請在每個目標區域部署獨立的 Foundry 資源,並在應用層管理資料同步與路由。 有關合規認證細節,請參見 Azure 合規文件。
驗證架構決策
在推出前,請驗證目標環境的以下事項:
- 確認所需的模型與功能是否在你的部署區域內可用。 詳情請參閱雲端 區域的功能可用性。
- 檢查角色分配在 Foundry 資源層級和專案層級的範圍是否正確。 詳情請參閱
Microsoft Foundry 的基於角色的存取控制 。 - 驗證網路隔離需求與私有存取路徑。 詳情請參見 如何設定 Foundry 的私人連結。
- 確認加密與秘密管理需求,包括客戶管理金鑰及 Azure Key Vault 整合。 詳情請參見 用於加密 Foundry 的客戶管理金鑰 和 如何設定與 Foundry 進行 Azure Key Vault 連線。
- 檢視目標資源的配額與限制,包括模型部署限制與速率限制。 詳情請參閱 Azure OpenAI 配額與限制 以及 代理服務限制、配額與區域。