共用方式為

部署 Microsoft Foundry 模型至管理計算資源，採用按需付費方式

備註

本文件指的是 Microsoft Foundry（經典版） 入口網站。

🔍 請參閱 Microsoft Foundry（新）文件 以了解新入口網站。

Microsoft Foundry 模型包含完整的模型目錄，分為兩類——由 Azure 直接銷售的模型，以及 合作夥伴與社群的模型。 您可以在受控計算上部署的合作夥伴和社群模型是開放式或受保護的模型。 在本文中，您將瞭解如何使用合作夥伴和社群提供並透過 Azure Marketplace 的受保護模型，以隨用隨付的方式部署在受管控的計算資源上。

先決條件

  • 具有有效付款方式的 Azure 訂用帳戶。 免費或試用 Azure 訂用帳戶無法運作。 如果您沒有 Azure 訂用帳戶，請 建立付費 Azure 帳戶 以開始。

  • 如果你還沒有，可以 為 Foundry 建立一個 hub 專案。 您可以使用中樞專案部署至受控計算。 Foundry 專案無法用於這個目的。

  • 已為您的 Azure 訂用帳戶啟用 Azure Marketplace 購買功能。

  • Azure 角色基礎存取控制（Azure RBAC）授予 Foundry 入口網站的操作權限。 若要執行本文中的步驟，您的用戶帳戶必須獲指派具有下列許可權的 自定義角色 。 為 Azure 訂用帳戶指派 擁有者 或 參與者 角色的用戶帳戶也可以建立部署。 欲了解更多權限資訊，請參閱 Foundry 入口網站的角色基礎存取控制。

  • 在 Azure 訂閱中—將工作區/專案訂閱到 Azure Marketplace 提供的服務：

    • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
    • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.SaaS/register/action

  • 在資源群組上 - 若要建立和使用 SaaS 資源：

    • Microsoft.SaaS/resources/read
    • Microsoft.SaaS/resources/write

  • 在工作區上 - 若要部署端點：

    • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
    • Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*

Azure Marketplace 提供的訂閱範圍和計量單位

Foundry 提供無縫的訂閱與交易體驗，使您能在大規模地創建和使用專用模型部署時，確保模型的受保護性。 在受控計算上部署受保護的模型時，客戶將以隨用隨付計費的方式在兩個維度上計費：

  • 部署中所使用的虛擬機器每小時 Azure Machine Learning 計算計費。
  • Azure Marketplace 供應項目上模型發行者所設定的模型附加費用計費。

Azure 計算資源和模型附加費用的隨用隨付計費會根據受控線上部署的運作時間，以每分鐘為單位按比例計算。 模型的附加費是每 GPU 小時的價格，由合作夥伴或模型發行者在 Azure Marketplace 上設定，適用於所有可用於 Foundry 管理計算資源中部署該模型的支援 GPU。

使用者對 Azure Marketplace 優惠的訂閱範圍會限定於 Foundry 中的專案資源內。 如果專案已經對特定模型的 Azure Marketplace 供應項目進行訂閱，則部署精靈會在部署中通知使用者，該專案已擁有此訂用帳戶。

備註

對於 NVIDIA 推論微服務（NIM），多個模型會與單一市場服務相關聯，因此你只需在專案中訂閱一次 NIM 優惠，即可部署 NVIDIA 在 Foundry 模型目錄中提供的所有 NIM。 如果您想在不同的專案中部署 NIM，但沒有現有的 SaaS 訂閱，您需要重新訂閱該方案。

若要尋找存在於 Azure 訂用帳戶中的所有 SaaS 訂用帳戶：

  1. 登入 Azure 入口網站 並移至您的 Azure 訂用帳戶。

  2. 選取 [訂用帳戶 ]，然後選取您的 Azure 訂用帳戶以開啟其概觀頁面。

  3. 選取 [設定>資源 ] 以查看資源清單。

  4. 使用 [類型 ] 篩選來選取 SaaS 資源類型。

以耗用量為基礎的附加費會移至相關聯的 SaaS 訂用帳戶，並透過 Azure Marketplace 向使用者計費。 您可以在個別 SaaS 訂用帳戶的 [ 概 觀] 索引卷標中檢視發票。

在受控計算上訂閱和部署

小提示

因為你可以自訂 Microsoft Foundry 入口網站的 左側窗格 ，你可能會看到與這些步驟中顯示不同的項目。 如果您沒有看到您要尋找的內容，請選取左窗格底部的 ... 更多。

  1. 登入 Microsoft Foundry。 確定新鑄造廠的開關是關閉的。 這些步驟指的是 Foundry (傳統版)。

  2. 如果您尚未在專案中，請選取它。

  3. 從左窗格中選取 [模型目錄 ]。

  4. 選取您選擇的 集合 和模型，以篩選模型清單。 本文使用支援模型清單中的 Cohere 命令 A 進行說明。

  5. 從模型的頁面中，選取 [ 使用此模型 開啟部署精靈]。

  6. 如果提供購買選項，請選取 [受控計算]。

  7. 如果您沒有專用配額，請選取陳述式旁邊的核取方塊： 我想使用共用配額，並確認此端點將在 168 小時內刪除。

  8. 從模型支援的其中一個虛擬機器 （VM） SKU 中選擇。 您必須在 Azure 訂用帳戶中具有該 SKU 的 Azure Machine Learning 計算配額。

  9. 選取 [自定義 ] 以指定參數的部署組態，例如實例計數。 您也可以選取部署的現有端點，或建立新的端點。 在此範例中，請指定執行個體計數 1 ，並為部署建立新的端點。

    Foundry 中受保護模型部署設定畫面的截圖。

  10. 選取 [下一步 ] 以繼續進行 定價明細 頁面。

  11. 檢閱與 Azure Marketplace 上模型供應專案相關聯的部署、使用規定和許可協定定價明細。 定價明細會告訴您已部署模型的彙總定價，其中模型的附加費是您在先前步驟中選取的 VM 執行個體中 GPU 數目的函數。 除了模型的適用附加費之外，Azure 計算費用也會根據您的部署組態套用。 如果您已有保留或 Azure 節省方案，計算費用的發票將遵循並反映折扣後的虛擬機器價格。

    Foundry 中受保護模型部署的價格明細頁面截圖。

  12. 選取複選框，確認您瞭解並同意使用規定。 然後，選取 [ 部署]。 Foundry 會為你建立市場報價的訂閱，然後在託管運算資源上進行模型部署。 部署需要大約 15-20 分鐘的時間才能完成。

取用部署

成功建立部署後，請遵循以下步驟來取用它：

  1. 在你的 Foundry 專案中，選擇「我的資產」中的 Models + Endpoints。
  2. 從模型部署索引標籤中選擇您的部署。
  3. 移至 [測試] 索引標籤以取得端點的範例推斷。
  4. 返回 [ 詳細數據 ] 索引標籤以複製部署的 [目標 URI]，您可以使用此索引標籤搭配程式碼執行推斷。
  5. 移至部署的 [取用] 索引標籤，以尋找取用的程式碼範例。

部署的網路隔離

您可以使用工作區受控虛擬網路，在隔離網路內的模型目錄中部署集合。 如需如何設定工作區受控網路的詳細資訊，請參閱 設定受控虛擬網路以允許因特網輸出。

限度

關閉 Ingress Public Network Access 的 Foundry 專案，只能支援目錄中其中一個受保護模型的單一主動部署。 嘗試建立更活躍的部署會導致部署建立失敗。

支援的模型

下列各節列出受控計算部署支援的模型，其中包含依集合分組的隨用隨付計費。

玻色子人工智慧

型號 任務
希格斯音頻 v2.5 音訊生成

Cohere

型號 任務
命令 A 對話完成
Embed v4 (英文) 嵌入技術
Rerank v3.5 (英文) 文字分類
Cohere-rerank-v4.0-pro 重新排序文本分類
Cohere-rerank-v4.0-fast 重新排序文本分類

創始實驗室

型號 任務
水星 聊天完成、文字生成、摘要

英偉達

NVIDIA 推論微服務 （NIM） 是 NVIDIA 為在 NVIDIA GPU 上提供服務的最佳化預訓練和自訂 AI 模型而建置的容器。 您可以透過在 Azure Marketplace 上訂閱 NVIDIA NIM SaaS 方案 (標準)，部署 Foundry 模型目錄中提供的 NVIDIA NIM。

關於 NIM 的一些特別注意事項如下：

  • NIMs 包括 90 天的試用期。 試用版適用於與特定 SaaS 訂用帳戶相關聯的所有 NIC，並從建立 SaaS 訂用帳戶的時間開始。

  • SaaS 訂閱則適用於 Foundry 專案。 由於多個模型與同一個 Azure Marketplace 方案相關聯，你只需在專案內訂閱一次 NIM 方案，就能部署 NVIDIA 在 Foundry 模型目錄中提供的所有 NIM。 如果您想在不同的專案中部署 NIM，但沒有現有的 SaaS 訂閱，您需要重新訂閱該方案。

型號 任務
Llama-3.3-Nemotron-Super-49B-v1-NIM-microservice (英文) 對話完成
Llama-3.1-Nemotron-Nano-8B-v1-NIM-microservice (英文) 對話完成
Deepseek-R1-Distill-Llama-8B-NIM-microservice (英文) 對話完成
Llama-3.3-70B-Instruct-NIM-microservice (英文) 對話完成
Llama-3.1-8B-Instruct-NIM-microservice (英文) 對話完成
Mistral-7B-Instruct-v0.3-NIM-microservice 對話完成
Mixtral-8x7B-Instruct-v0.1-NIM-microservice (英文) 對話完成
Llama-3.2-NV-embedqa-1b-v2-NIM-microservice (英文) 嵌入技術
Llama-3.2-NV-rerankqa-1b-v2-NIM-microservice (英文) 文字分類
Openfold2-NIM-microservice 蛋白質系結器
ProteinMPNN-NIM-microservice (英文) 蛋白質系結器
MSA-search-NIM-microservice (英文) 蛋白質系結器
Rfdiffusion-NIM-microservice (英文) 蛋白質系結器
NVIDIA-Nemotron-Nano-9b-v2-NIM-微服務 對話完成
Trellis-NIM-微服務 圖像轉 3D、文本轉 3D、3D 生成
Cosmos-reason1-NIM-microservice 任務完成驗證、操作可供性、下一步可能動作預測
Evo2-40b-NIM-microservice Genomics
Boltz2-NIM-微服務 結構預測
Llama-3.3-Nemotron-Super-49B-v1.5-NIM-微服務 聊天結束、摘要

取用 NVIDIA NIM 部署

成功建立部署後，請遵循 [取用部署] 中的步驟來取用它。

Foundry 上的 NVIDIA NIM 會顯示一個相容於 OpenAI 的 API。 請參閱 API 參考， 以深入瞭解支援的承載。 Foundry 上 NIM 的 model 參數會在容器內設定為預設值，而其在傳入您的線上端點的要求承載中不是必要的。 Foundry 上 NIM 部署的 Consume 標籤包含可用於推斷部署目標 URL 的程式碼範例。

您也可以透過 Foundry Models SDK 來處理 NIM 部署，但有以下限制：

使用 NIM 端點開發和執行代理程式

模型型錄中 聊天完成 工作類型的下列 NVIDIA NIM 可用於 使用代理程式服務搭配各種支援的工具來建立和執行代理程式 ，並具有下列兩個額外需求：

  1. 使用 NIM 端點及金鑰來建立專案的 「無伺服器連線 」。 線上中 NIM 端點的目標 URL 應該是 https://<endpoint-name>.region.inference.ml.azure.com/v1/。
  2. 在創建和運行代理時，將請求主體中的模型參數設定為指定的格式https://<endpoint>.region.inference.ml.azure.com/v1/@<parameter value per table below>。
英偉達 NIM model 參數值
Llama-3.3-70B-Instruct-NIM-microservice meta/llama-3.3-70b-instruct
Llama-3.1-8B-Instruct-NIM-microservice meta/llama-3.1-8b-instruct
Mistral-7B-Instruct-v0.3-NIM-microservice mistralai/mistral-7b-instruct-v0.3

安全掃描

NVIDIA 透過頂級弱點掃描、嚴格的漏洞修補管理和透明流程，確保 NVIDIA NIM 容器映像的安全性和可靠性。 若要深入瞭解安全性掃描，請參閱 安全性頁面。 Microsoft 與 NVIDIA 合作，取得最新的 NIM 修補程式，以便在 Foundry 內提供安全、穩定且可靠的生產級軟體。

您可以在模型概觀頁面的右窗格中參考 NIM 的 上次更新時間 。 你可以重新部署，在 Foundry 上使用來自 NVIDIA 的最新版本 NIM。

Paige 人工智慧系统

型號 任務
Virchow2G 影像特徵擷取
Virchow2G-Mini (英文) 影像特徵擷取

航程人工智慧

型號 任務
Voyage-3.5-嵌入模型 嵌入技術

相關內容

  • Last updated on