在本文中,您將了解如何將模型目錄中的模型部署為標準部署。
模型目錄中的某些模型 可以作為標準部署進行,並使用標準計費。 這種部署類型提供一種方式,讓模型以 API 形式使用,而不必將其託管在訂閱中,同時維持組織所需的企業安全與合規性。 此部署選項不需要您的訂用帳戶提供配額。
本文使用 Meta Llama 模型部署進行說明。 不過,您可以使用相同的步驟,在 可用於標準部署的模型目錄中部署任何模型。
先決條件
具有有效付款方式的 Azure 訂用帳戶。 免費版或試用版 Azure 訂用帳戶將無法運作。 如果您沒有 Azure 訂用帳戶,請建立付費 Azure 帳戶以開始。
Azure 角色型存取控制 (Azure RBAC) 可用來授與 Azure Machine Learning 作業的存取權。 若要執行本文中的步驟,您的使用者帳戶必須獲指派資源群組上的 Azure AI 開發人員角色。 如需權限的詳細資訊,請參閱 Azure Machine Learning 中的角色型存取控制。
您必須安裝下列軟體,才能使用 Azure Machine Learning:
您可以使用任何相容的網頁瀏覽器來瀏覽 Azure Machine Learning。
在模型目錄中尋找您的模型和模型識別碼
對於透過 Azure Marketplace 提供的模型,請確保你的帳號在資源群組中擁有 Azure AI 開發者 角色權限,或你符合訂閱 模型服務所需的權限。
非 Microsoft 供應商提供的模型(例如 Llama 和 Mistral 模型)則透過 Azure Marketplace 計費。 針對這類模型,您必須將工作區訂閱特定的模型供應項目。 Microsoft 所提供的模型 (例如 Phi-3 模型) 沒有這項需求,因為計費方式不同。 如需模型目錄中模型無伺服器部署計費的詳細資訊,請參閱 標準部署的計費。
移至工作區。 若要使用標準部署供應專案,您的工作區必須屬於您想要部署之特定模型 所支援無伺服器部署 的其中一個區域。
從左側資訊看板選取 [模型目錄],並尋找您要部署模型的模型卡片。 在本文中,你選擇的是 Bria-2.3-Fast 型號。
- 如果您要使用 Azure CLI、Python SDK 或 ARM 部署模型,請複製模型識別碼。
重要事項
複製 型號 ID 時不要包含版本。 標準部署總是部署該模型的最新版本。 例如,針對模型識別碼
azureml://registries/azureml-bria/models/Bria-2.3-Fast/versions/1,複製azureml://registries/azureml-bria/models/Bria-2.3-Fast。
下一節涵蓋將工作區訂閱模型供應項目的步驟。 如果您要部署Microsoft模型,您可以略過本節並移至將 模型部署至標準部署。
為工作區訂閱模型供應項目
標準部署可部署 Microsoft 與非 Microsoft 提供的型號。 針對Microsoft模型(例如 Phi-3 模型),您不需要建立 Azure Marketplace 訂用帳戶,而且您可以將 它們直接部署到標準部署 ,以取用其預測。 若是非 Microsoft 模型,您必須先建立訂用帳戶。 如果你是第一次在工作區部署該模型,必須訂閱 Azure Marketplace 提供的該模型。 每個工作區都有自己對模型特定 Azure Marketplace 供應項目的訂用帳戶,可讓您控制及監視支出。
附註
透過 Azure Marketplace 提供的模型可部署至特定區域的標準部署。 檢查 標準部署中的模型區域可用性 ,以確認哪些模型和區域可供使用。 如果未列出您需要的模型和區域,您可以部署到支援區域中的工作區,然後從不同的工作區取用標準部署。
建立模型的市集訂用帳戶。 建立訂用帳戶時,您必須接受與模型供應項目相關聯的條款及條件。 請記住,您不必針對 Microsoft 提供的模型 (如 Phi-3) 執行此步驟。
在模型的 詳細資料 頁面,選擇 「使用此模型」。 會開啟部署 選項 視窗,讓你在標準部署(無伺服器 API)和使用受管理計算部署之間做選擇。
附註
對於只能透過標準部署部署的模型,當您從模型細節頁面選擇「 使用此模型」 後,標準部署向導會立即開啟。
選擇 無伺服器 API 以開啟標準部署精靈。
如果您看到提示您已經有此工作區的 Azure Marketplace 訂用帳戶,則不需要建立訂用帳戶,因為您已經有訂用帳戶了。 您可以繼續將 模型部署至標準環境。
在部署精靈上,選取 [Azure Marketplace 條款] 的連結,以深入了解使用規定。 您也可以選取 [價格及使用規定] 索引標籤以了解所選模型的價格。
在部署精靈上,選取 Azure Marketplace 條款的連結,以深入了解使用規定。 您也可以選取 [Marketplace 供應項目詳細資料] 索引標籤,以了解所選模型的價格。
選取 [訂閱並部署]。
當您為工作區訂閱特定 Azure Marketplace 供應項目之後,就不需要再次訂閱相同工作區中的相同供應項目的後續部署。
您可以隨時檢視工作區目前訂閱的模型供應項目:
移至 Azure 入口網站
瀏覽至工作區所屬的資源群組。
在 [類型] 篩選中,選取 [SaaS]。
您會看到目前訂閱的所有供應項目。
選取任何資源以查看詳細資料。
將模型部署至標準部署
建立非Microsoft模型的訂用帳戶之後,您可以將相關聯的模型部署至標準部署。 針對 Microsoft 模型 (例如 Phi-3 模型),您不需要建立訂用帳戶。
標準部署提供一種方式,讓模型能以 API 形式使用,而無需將模型託管於您的訂閱,同時維持企業組織所需的安全性與合規性。 此部署選項不需要您的訂用帳戶提供配額。
在本節中,你會建立一個名為 Bria-2.3-Fast 的端點。
建立無伺服器端點
若要部署不需要訂閱模型的 Microsoft 模型,請選擇 「使用此模型 」,然後選擇 「無伺服器 API 」以開啟部署嚮導。
或者,對於需要模型訂用帳戶的非 Microsoft 模型,如果您將工作區訂閱上一節中的模型供應項目,請繼續選取 [部署]。 或者,選取 [繼續部署] (如果您的部署精靈有 [您已有此工作區的 Azure Marketplace 訂用帳戶] 備註)。
為部署指定名稱。 此名稱會成為部署 API URL 的一部分。 此 URL 在每個 Azure 區域中都必須是唯一的。
秘訣
[內容篩選 (預覽)] 選項預設為啟用。 保留服務的預設設定以偵測有害內容,例如仇恨、自我傷害、性與暴力內容。 如需內容篩選的詳細資訊(預覽),請參閱 透過標準部署部署所部署模型的內容安全性。
選取 [部署]。 待部署準備就緒後,系統會將您重新導向至 [部署] 頁面。
您隨時可以查看部署至工作區的端點:
移至工作區。
選取 [端點]。
選取 [無伺服器端點] 索引標籤 以顯示標準部署。
建立的端點使用金鑰驗證進行授權。 使用下列步驟來取得與指定端點相關聯的金鑰。
- 若要返回到部署頁面,請從無伺服器端點清單中選取端點的名稱。
- 注意端點的目標 URI 和金鑰。 使用它們來呼叫部署並產生預測。
附註
使用 Azure 入口網站時,預設不會在資源群組上顯示標準部署。 使用 [顯示隱藏類型] 選項,在資源群組上顯示它們。
此時,您的端點已可供使用。
如果您需要從不同的工作區取用此部署,或者您計劃使用 Prompt Flow 來建置智慧型應用程式,則需要建立與標準部署的連線。 若要瞭解如何在新工作區或中樞上設定現有的標準部署,請參閱 從不同的工作區或提示流程取用已部署的標準部署。
秘訣
如果您在部署所在的相同工作區中使用提示流程,您還需要建立連線。
使用標準部署
在 Azure Machine Learning 與 Microsoft Foundry 標準部署中的模型支援 Azure AI 模型推論 API ,該 API 揭示了基礎模型的共通能力,開發者可使用這些模型以統一且一致的方式接收來自多元模型的預測。
深入了解此 API 的功能,以及如何在建置應用程式時加以使用。
刪除端點和訂用帳戶
您可以刪除模型訂用帳戶和端點。 刪除模型訂用帳戶會使任何相關聯的端點變成狀況不良且無法使用。
若要刪除標準部署:
從左側資訊看板選取 [端點]。
選取 [無伺服器端點] 索引標籤 以顯示標準部署。
開啟您要刪除的端點。
選取 [刪除] 。
若要刪除相關聯的模型訂用帳戶:
移至 Azure 入口網站
瀏覽至工作區所屬的資源群組。
在 [類型] 篩選中,選取 [SaaS]。
選取您要刪除的訂用帳戶。
選取 [刪除] 。
標準部署模型的成本和配額考量
配額會根據每個部署管理。 每個部署的速率限制為每分鐘 200,000 個權杖,每分鐘 1,000 個 API 要求。 然而,我們目前限制每個工作區每個模型進行一次部署。 如果目前的速率限制無法滿足您的情節,請連絡 Microsoft Azure 支援。
Microsoft 模型的成本
當您將Microsoft模型(例如 Phi-3 模型)部署為標準部署時,您可以在部署精靈的 [ 定價和條款 ] 索引卷標中找到定價資訊。
非 Microsoft 模型的成本
非 Microsoft 模型作為標準部署可透過 Azure Marketplace 提供,並與 Foundry 整合使用。 您可以在部署或微調這些模型時,找到 Azure Marketplace 價格。
每當工作區訂閱 Azure Marketplace 的某項優惠時,就會建立一個新的資源來追蹤其消費成本。 會使用相同的資源來追蹤與推斷和微調相關聯的成本;不過,可以使用多個計量獨立追蹤每個情節。
如需如何追蹤成本的詳細資訊,請參閱監視透過 Azure Marketplace 提供的模型成本 (部分機器翻譯)。
訂閱模型供應項目的必要權限
Azure 角色型存取控制 (Azure RBAC) 可用來授與 Azure Machine Learning 作業的存取權。 若要執行本文中的步驟,您的使用者帳戶必須獲指派 Azure 訂用帳戶的擁有者、參與者或 Azure AI 開發人員角色。 或者,可以為您的帳戶指派具有下列權限的自訂角色:
在 Azure 訂用帳戶上 - 以為工作區訂閱 Azure Marketplace 供應項目的權限,需針對每個供應項目為每個工作區執行一次:
Microsoft.MarketplaceOrdering/agreements/offers/plans/readMicrosoft.MarketplaceOrdering/agreements/offers/plans/sign/actionMicrosoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/readMicrosoft.Marketplace/offerTypes/publishers/offers/plans/agreements/readMicrosoft.SaaS/register/action
在資源群組上 - 以建立及使用 SaaS 資源:
Microsoft.SaaS/resources/readMicrosoft.SaaS/resources/write
在工作區上 - 以部署端點 (Azure Machine Learning 資料科學家角色已經包含這些權限):
Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*
如需關於權限的詳細資訊,請參閱管理對 Azure Machine Learning 工作區的存取 (部分機器翻譯)。
相關內容
- 模型目錄和集合 (部分機器翻譯)
- 從不同的工作區取用已部署的標準部署