Microsoft Foundry Models 是您發現、評估及部署強大 AI 模型的一站式平台——無論您是在打造自訂副駕駛、打造代理程式、強化現有應用程式，或探索新的 AI 能力。
使用 Foundry 模型，您可以：
- 探索來自 Microsoft、OpenAI、DeepSeek、Hugging Face、Meta 等尖端模型的豐富目錄。
- 您可以使用真實世界的任務和自己的數據，並排比較與評估這些模型。
- 有了用於微調、觀察和負責任 AI 的內建工具，您可以放心部署。
- 選擇您的路徑—自備模型、使用託管模型，或與 Azure 服務緊密整合。
- 無論您是開發人員、數據科學家或企業架構師，Foundry 模型都提供彈性和控制，讓您能夠建置可安全地、負責任且快速調整的 AI 解決方案。
Foundry 提供完整的 AI 模型目錄。 有超過 1900 種模型，範圍從基礎模型、推理模型、小型語言模型、多模式模型、領域特定模型、產業模型等。
我們的目錄分為兩個主要類別：
瞭解這些類別之間的差異，可協助您根據特定需求和戰略目標來選擇正確的模型。
備註
- 對於所有型號，客戶仍須負責（i） 在使用任何型號或系統時遵守法律;（ii） 審查模型目錄中的模型描述、模型提供者提供的模型卡片及其他相關文件;（iii） 選擇適合其使用情境的模型，以及 （iv） 實施適當措施（包括使用 Azure AI 內容安全），以確保客戶使用 Foundry 工具符合 Microsoft 產品條款中的可接受使用政策及 Microsoft 企業 AI 服務行為準則。
直接由 Azure 銷售的模型
這些是由Microsoft根據Microsoft產品條款所裝載和銷售的模型。 Microsoft 已評估這些模型，模型已深度整合到 Azure 的 AI 生態系統中。 這些模型來自各種提供者，提供了更強的整合能力、最佳化的效能和直接的 Microsoft 支援，包括企業級服務等級協定 (SLA)。
Azure 直接銷售的模型特性：
- Microsoft 提供的支援。
- 與 Azure 服務和基礎結構的高階整合。
- 需根據 Microsoft 的負責任 AI 標準進行內部檢閱。
- 模型文件和透明度報告可讓客戶了解模型風險、緩解措施和限制。
- 企業級可擴縮性、可靠性和安全性。
其中一些模型還具有可替代佈建輸送量的優點，這表示您可以在任何這些模型中靈活使用配額和保留。
來自合作夥伴和社群的模型
這些模型佔大多數 Foundry 模型，由值得信賴的第三方組織、合作夥伴、研究實驗室及社群貢獻者提供。 這些模型提供特製化且多樣化的 AI 功能，涵蓋各種案例、產業和創新。 合作夥伴與社群的模型範例包括由 Hugging Face hub 的 Anthropic 與 Open 模型開發的大型語言模型家族。
Anthropic 包含 Claude 家族的先進大型語言模型，支援文字與影像輸入、文字輸出、多語言能力及視覺功能。 如需 Anthropic 模型的協助，請聯絡 Microsoft 客服。 欲了解更多隱私資訊，請使用 Anthropic隱私政策，服務條款請參閱 商業服務條款。 想了解如何使用 Anthropic 模型，請參閱 Microsoft Foundry 中的部署與使用 Claude 模型。
Hugging Face hub 包含數百個模型，可用於即時的推論計算，並由管理計算資源支援。 此集合中列出的模型由 Hugging Face 建立並維護。 如需 Hugging Face 模型的協助，請使用 Hugging Face 論壇 或 Hugging Face 支援。 了解如何部署 Hugging Face 模型，請參考 Microsoft Foundry 的 Deploy Open Models。
來自合作夥伴和社群的模型特性：
- 由外部合作夥伴和社群參與者開發及支援
- 各種特殊化模型，迎合利基或廣泛的使用案例
- 通常由提供者自行驗證，並採用由 Azure 提供的整合指導方針
- 社群驅動的創新和尖端模型的快速可用性
- 標準 Azure AI 整合，支持和維護由個別提供者管理
合作夥伴和社群的模型可部署為受控計算或無伺服器 API 部署選項。 模型提供者會選取模型可部署的方式。
請求將模型納入模型目錄
你可以直接在 Foundry 入口網站的模型目錄頁面申請，將模型加入模型目錄。 從模型類別目錄頁面的搜尋列中，搜尋目錄中不存在的模型，例如 mymodel，會傳回 [要求模型] 按鈕。 選取此按鈕以開啟表單，您可以在其中共用所要求模型的詳細數據。
選擇直接模型與合作夥伴與社群模型
在選擇 Foundry Models 模型時，請考慮以下事項：
- 使用案例和需求：Azure 直接銷售的模型適用於需要深度 Azure 整合、保證支持和企業 SLA 的案例。 來自合作夥伴和社群的模型在特製化使用案例和創新導向案例中表現優異。
- 支援期望：Azure 直接銷售的模型隨附強大的Microsoft支持和維護。 這些模型是由其提供者所支援，具有不同層級的SLA和支持結構。
- 創新和特製化：來自合作夥伴和社群的模型提供快速存取由領先的研究實驗室和新興 AI 提供者所開發的特殊創新和利基功能。
模型目錄功能概觀
Foundry 入口網站中的模型目錄是發現並使用各種模型以建構生成式 AI 應用的樞紐。 模型目錄展示來自多個模型提供者的數百個模型，例如 Azure OpenAI、Mistral、Meta、Cohere、NVIDIA 和 Hugging Face，還包括 Microsoft 訓練的模型。 來自其他供應商的模型被定義為 Microsoft 產品條款 中的非 Microsoft 產品，並受模型所附條款的約束。
您可以透過關鍵詞搜尋和篩選來搜尋和探索符合您需求的模型。 模型目錄還提供特定模型的效能排行榜和基準衡量指標。 您可以選取 [瀏覽排行榜 ] 和 [ 比較模型] 來存取它們。 您也可以從模型卡片 [效能評量] 索引標籤存取效能評量資料。
在 模型類別目錄篩選上，您會發現：
- 集合：您可以根據模型提供者集合來篩選模型。
- 產業：您可以篩選在產業特定數據集上定型的模型。
- 功能：您可以篩選出獨特的模型功能，例如推理和工具呼叫。
-
部署選項：您可以篩選支援特定部署選項的模型。
- 無伺服器 API：此選項可讓您支付每個 API 呼叫的費用。
- 已佈建：最適合用於大量一致磁碟區的即時評分。
- Batch：最適合成本優化的批次作業，而不是延遲。 不提供批次部署的遊樂場支援。
- 受控計算：此選項可讓您在 Azure 虛擬機上部署模型。 系統會向您收取裝載和推斷的費用。
- 推斷工作：您可以根據推斷工作類型篩選模型。
- 微調工作：您可以根據微調工作類型來篩選模型。
- 授權：您可以根據授權類型篩選模型。
在 模型卡片上，您會發現：
- 快速事實：您可以概覽模型的重要資訊。
- 詳細數據：此頁面包含模型的詳細資訊，包括描述、版本資訊、支持的數據類型等等。
- 效能評定：您會發現選取模型的效能基準檢驗計量。
- 現有的部署：如果您已經部署模型，您可以在 [現有部署] 索引卷標下找到它。
- 授權：您會發現與模型授權相關的法律資訊。
- 成品：只會針對開啟的模型顯示此索引標籤。 您可以看到模型資產，並透過使用者介面下載它們。
模型部署：受控計算和無伺服器 API 部署
除了部署至 Azure OpenAI 之外，模型目錄還提供兩種不同的方法來部署模型以供您使用：受控計算和無伺服器 API 部署。
每個模型的可用部署選項和功能會有所不同，如下表所述。 深入了解部署選項的資料處理。
模型部署選項的功能
| 特徵 | 受控計算 | 無伺服器 API 部署 |
|---|---|---|
| 部署體驗和計費 | 模型權數會部署到具有受控計算的專用虛擬機器。 受控計算 (可以有一或多個部署) 會提供 REST API 以進行推斷。 將根據部署所使用的虛擬機器核心時數計費。 | 透過部署存取模型，這會佈建一個 API 來存取模型。 使用該 API 可以存取 Microsoft 裝載和管理的模型，以進行推斷。 您需要為 API 的輸入和輸出付費，這通常以代幣的形式計費。 在部署之前會提供定價資訊。 |
| API 驗證 | 金鑰和 Microsoft Entra 驗證。 | 僅限金鑰。 |
| 內容安全性 | 使用 Azure AI 內容安全服務 API。 | 提供與推斷 API 整合的 Azure AI 內容安全篩選。 Azure AI 內容安全篩選可能會分開計費。 |
| 網路隔離 | 為 Foundry 集線器配置管理網路。 | 受控計算會遵循中樞的公用網路存取 (PNA) 旗標設定。 如需詳細資訊，請參閱本文稍後的透過無伺服器 API 部署之模型的網路隔離一節。 |
支援部署選項的可用模型
如需 Azure OpenAI 模型，請參閱 Azure OpenAI。
若要查看支援無伺服器 API 部署或受管理運算的模型清單，請前往 Foundry 模型目錄的首頁。 使用 [部署選項 ] 篩選來選取 無伺服器 API 部署 或 受控計算。
模型生命週期：棄用和淘汰
AI 模型演進迅速，當同一模型家族中新版本或具備更新功能的新模型推出時，舊模型可能會在 Foundry 模型目錄中被淘汰。 為了允許順利轉換至較新的模型版本，某些模型會為使用者提供啟用自動更新的選項。 若要深入瞭解不同模型的模型生命週期、即將推出的模型淘汰日期，以及建議的取代模型和版本，請參閱：
受控計算
以受控計算形式部署模型的功能會建置在 Azure Machine Learning 的平台功能上，以在大型語言模型 (LLM) 作業的整個生命週期中順暢地整合模型目錄中的各種模型集合。
可部署為受控計算的模型的可用性
這些模型可透過 Azure Machine Learning 登錄提供。 這些登錄允許啟用機器學習優先方法來裝載和散發 Azure Machine Learning 資產。 這些資產包括模型權重、用於執行模型的容器執行時期、用於評估和微調模型的流程，以及基準測試和樣本範例的資料集。
這些登錄建置在可高度調整並符合企業需求的基礎結構之上，以便：
透過內建異地複寫，將低延遲存取模型成品傳遞至所有 Azure 區域。
支援企業安全性需求，例如使用 Azure 原則限制對模型的存取，以及使用受控虛擬網路保護部署。
使用受控計算來部署模型以進行推斷
可用於部署至受控計算的模型可以部署至 Azure Machine Learning 受控計算以進行即時推斷。 部署到受控計算時，需要在 Azure 訂閱中為特定產品提供虛擬機器配額，以便能夠以最佳方式執行模型。 某些模型可讓您部署到暫時共用的配額以進行模型測試。
深入了解如何部署下列模型：
使用受控計算來建置生成式 AI 應用程式
Azure Machine Learning 中的提示流程功能為原型設計提供了絕佳的體驗。 您可以使用提示流程中已部署受控計算的模型，搭配開放式模型 LLM 工具。 您也可以使用 LangChain 等熱門 LLM 工具中受控計算所公開的 REST API，搭配 Azure Machine Learning 延伸模組。
部署為受控計算之模型的內容安全
Azure AI 內容安全服務可與受控計算搭配使用，以篩選各種有害內容的類別，例如色情內容、暴力、仇恨和自殘。 您也可以使用服務來篩選進階威脅，例如越獄風險偵測和受保護材料的文字偵測。
您可以參考此筆記本來了解與適用於 Llama 2 的 Azure AI 內容安全的整合。 或者，可以在提示流程中使用內容安全 (文字) 工具，將模型的回應傳遞至 Azure AI 內容安全以進行篩選。 如 Azure AI 內容安全定價中所述，您需要為這類用法單獨付費。
無伺服器 API 部署計費
您可以使用無伺服器 API 計費，在模型目錄中部署特定模型。 這個部署方法也稱為 無伺服器 API 部署，可讓您取用模型作為 API，而不在您的訂用帳戶上裝載它們。 模型會裝載於 Microsoft 管理的基礎結構中，以便對模型提供者的模型進行 API 型存取。 API 型存取可大幅降低存取模型的成本，並簡化佈建體驗。
模型提供者會提供可供部署為無伺服器 API 部署的模型，但裝載於受Microsoft管理的 Azure 基礎結構中，並透過 API 進行存取。 模型提供者會為其模型定義授權條款並設定使用的價格。 Azure Machine Learning 服務：
- 管理主機基礎結構。
- 提供推斷 API。
- 做為資料處理器，用於處理透過 MaaS 部署的模型所提交提示和輸出的內容。
在有關資料隱私一文中深入了解 MaaS 的資料處理。
備註
雲端解決方案提供者 （CSP） 訂用帳戶無法購買無伺服器 API 部署模型。
帳單管理
透過 MaaS 部署模型的發現、訂閱與使用體驗皆在 Foundry 入口網站與 Azure Machine Learning Studio 中提供。 使用者接受使用模型時所要遵守的授權條款。 在部署期間會提供取用定價資訊。
非 Microsoft 提供者所提供的模型會根據 Microsoft 商業市集使用條款，透過 Azure Marketplace 計費。
Microsoft 提供的模型會作為第一方取用服務透過 Azure 計量計費。 如產品條款所述，可以使用 Azure 計量購買第一方取用服務，但不受 Azure 服務條款的約束。 使用這些模型必須遵守提供的授權條款。
微調模型
某些模型也支援微調。 針對這些模型，您可利用受控計算 (預覽) 或無伺服器 API 部署微調，使用您提供的資料來量身打造模型。 如需詳細資訊，請參閱微調概觀。
部署為無伺服器 API 部署之模型的 RAG
在 Foundry 入口網站中，你可以使用向量索引和檢索增強生成（RAG）。 您可以使用可透過無伺服器 API 部署來部署的模型，根據自定義資料產生內嵌和推斷。 然後，這些內嵌和推斷可以產生所使用案例專屬的解答。 欲了解更多資訊，請參閱 Foundry 入口網站的「建構與消費向量索引」。
優惠方案和型號的區域可用性
只有在使用者的 Azure 訂用帳戶屬於模型提供者已提供該產品/服務的國家/地區的某個計費帳戶時，才能使用按權杖付費計費。 如果供應專案可在相關區域中使用，則用戶必須在 Azure 區域中擁有項目資源，模型可供部署或微調，如適用。 請參閱 無伺服器 API 部署模型的區域可用性 |Foundry 有詳細資訊。
透過無伺服器 API 部署所部署模型的內容安全性
針對透過無伺服器 API 部署的語言模型，Azure AI 會實作 Azure AI 內容安全 文字仲裁篩選器的預設設定，以偵測有害內容，例如仇恨、自我傷害、性與暴力內容。 若要深入瞭解內容篩選，請參閱 Azure 直接銷售模型的護欄和控件。
小提示
內容篩選不適用於透過無伺服器 API 部署的特定模型類型。 這些模型類型包括內嵌模型和時間序列模型。
當服務處理產生內容的提示時，內容篩選會同步發生。 您可以根據 Azure AI 內容安全價格個別計費，以供此類使用。 您可以停用個別無伺服器端點的內容篩選：
- 第一次部署語言模型時
- 稍後設定，透過選取部署詳細資料頁面上的內容篩選切換開關
假設您決定使用 模型推斷 API 以外的 API 來處理透過無伺服器 API 部署的模型。 在這種情況下，除非您使用 Azure AI 內容安全性個別實作內容篩選，否則不會啟用內容篩選。
若要開始使用 Azure AI 內容安全，請參閱快速入門：分析文字內容。 如果您在使用透過無伺服器 API 部署的模型時未使用內容篩選，則會有較高的風險讓使用者暴露至有害內容。
透過無伺服器 API 部署的模型的網路隔離
部署為無伺服器 API 部署之模型的端點會遵循具有部署所在專案的 Foundry 中樞公用網路存取旗標設定。 為了幫助保護你的無伺服器 API 部署，請在 Foundry hub 上關閉公開網路存取標誌。 您可以協助使用中樞的私人端點，保護從用戶端到端點的輸入通訊。
若要設定 Foundry 中樞的公用網路存取旗標：
- 前往 Azure 入口網站。
- 搜尋該樞紐所屬的資源群組，並從該資源群組的資源中選擇你的 Foundry 樞紐。
- 在中樞概觀頁面上的左窗格中，移至 [設定]>[網路]。
- 在 [公用存取] 索引標籤上，您可以設定公用網路存取旗標的設定。
- 儲存您的變更。 您的變更最多可能需要五分鐘才能散佈。
局限性
如果你有一個 Foundry 中樞，且私有端點是在 2024 年 7 月 11 日之前建立的，該中樞新增的無伺服器 API 部署將不會遵循中樞的網路配置。 相反地，您必須為中樞建立新的私人端點，並在專案中建立新的無伺服器 API 部署，讓新的部署可以遵循中樞的網路設定。
如果你有一個 Foundry 中樞，且 MaaS 部署是在 2024 年 7 月 11 日之前建立的，並且你在此中樞啟用了私有端點，現有的無伺服器 API 部署將不會跟隨該中樞的網路配置。 若要讓中樞內的無伺服器 API 部署遵循中樞的網路設定，您需要再次建立部署。
目前， 私人中樞中的無伺服器 API 部署無法使用 Azure OpenAI On Data 支援，因為私人中樞已停用公用網路存取旗標。
任何網路設定變更 (例如，啟用或停用公用網路存取旗標) 最多可能需要五分鐘的時間才能散佈。