模型目錄和集合
Azure Machine Learning 工作室 中的模型目錄是用來探索和使用各種模型，可讓您建置 Generative AI 應用程式的中樞。 模型類別目錄會跨模型提供者提供數百個模型，例如 Azure OpenAI 服務、Mistral、Meta、Cohere、Nvidia、Hugging Face，包括 Microsoft 定型的模型。 Microsoft 以外的提供者的模型是非 Microsoft 產品，如 Microsoft 產品條款中所定義，並受限於模型所提供的條款。
模型集合
模型是由模型目錄中的集合所組織。 模型目錄中有三種集合類型：
- 由 Azure AI 策劃的模型： 封裝並優化的最受歡迎的第三方開放權數和道具模型，可順暢地在 Azure AI 平臺上運作。 使用這些模型受限於模型提供者提供的授權條款。 在 Azure 機器學習 中部署時，模型的可用性受限於適用的 Azure SLA，而 Microsoft 則提供部署問題的支援。 來自 Meta、NVIDIA、Mistral AI 等合作夥伴的模型是目錄上「由 Azure AI 策劃」集合中可用的模型範例。 這些模型可以透過目錄中模型圖格上的綠色複選標記來識別，也可以依「由 Azure AI 策劃」集合進行篩選。
- Azure OpenAI 模型，專屬於 Azure 上： 透過與 Azure OpenAI 服務整合的「Azure OpenAI」集合，透過旗艦 Azure OpenAI 模型。 Microsoft 支援這些模型，其使用受限於 Azure OpenAI 服務的產品條款和 SLA。
- 從擁抱臉部中樞開啟模型： 來自 HuggingFace 中樞的數百個模型可透過「擁抱臉部」集合存取，以即時推斷在線端點。 擁抱臉部會建立和維護 HuggingFace 集合中列出的模型。 使用 HuggingFace 論壇或 HuggingFace 支援來取得協助。 深入瞭解 如何從擁抱臉部部署模型。
建議加入模型目錄：您可以使用此窗體提交要求，將模型新增至模型目錄。
模型目錄功能概觀
如需 Azure OpenAI 模型的相關信息，請參閱 Azure OpenAI 服務。
針對 Azure AI 和從擁抱臉部中樞所策劃的模型，其中一些可以部署為即時端點，其中有些可以使用隨用隨付計費來部署（模型即服務）。 您可以探索、比較、評估、微調這些模型，並大規模部署並整合至具有企業級安全性和數據控管的 Generative AI 應用程式。
- 探索： 檢閱模型卡片、嘗試範例推斷和瀏覽程式代碼範例，以評估、微調或部署模型。
- 比較： 比較產業中可用的模型和數據集的基準檢驗，以評估哪些模型和數據集符合您的商務案例。
- 評估：提供自己的測試資料，評估模型是否適合您的特定工作負載。 評估計量可讓您輕鬆地將所選模型在案例中執行的效能視覺化。
- 微調： 使用您自己的定型數據自定義微調模型，並藉由比較所有微調作業的計量來挑選最佳模型。 內建優化可加速微調，並減少微調所需的記憶體和計算。
- 部署： 順暢地部署預先定型的模型或微調的模型以進行推斷。 也可以下載可部署到即時端點的模型。
模型部署：即時端點和模型即服務 （隨用隨付）
模型目錄提供兩種不同的方式，可從目錄部署模型以供使用：即時端點和隨用隨付推斷。 每個模型可用的部署選項會有所不同;在下表中，深入瞭解部署選項的功能，以及特定模型可用的選項。 深入瞭解 使用部署選項進行數據處理 。
| 功能 | 使用受控在線端點的即時推斷 | 隨用隨付模型即服務 |
|---|---|---|
| 部署體驗和計費 | 模型權數會部署至具有受控在線端點的專用 虛擬機器。 受控在線端點可以有一或多個部署，可讓 REST API 可供推斷。 部署所使用的虛擬機核心時數會向您收取費用。 | 存取模型是透過布建 API 來存取模型的部署。 API 可讓您存取由 Microsoft 管理的中央 GPU 集區中裝載的模型以進行推斷。 這種存取模式稱為「模型即服務」。 您需支付 API 的輸入和輸出費用，通常是在令牌中;部署之前會提供定價資訊。 |
| API 驗證 | 金鑰和 Microsoft Entra 識別子驗證。 深入了解。 | 僅限金鑰。 |
| 內容安全性 | 使用 Azure 內容 保管庫 服務 API。 | Azure AI 內容 保管庫 篩選條件可與推斷 API 整合。 Azure AI 內容 保管庫 篩選可能會個別計費。 |
| 網路隔離 | 使用在線端點進行受控 虛擬網絡。 深入了解。 |
部署選項
| 模型 | 即時端點 | 隨用隨付 |
|---|---|---|
| Llama 系列車型 | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-指示 Llama-3-70B-指示 Llama-3-8B Llama-3-70B |
Llama-3-70B-指示 Llama-3-8B-指示 Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Mistral 系列模型 | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large Mistral-small |
| Cohere 系列模型 | 無法使用 | Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-多語系 |
| 其他模型 | 可以使用 | 無法使用 |
即時端點
將模型部署至即時端點的功能建置在 Azure 機器學習 的平臺功能上，以在模型類別目錄中廣泛集合的整個 LLMOps 生命週期中啟用無縫整合。
如何為即時端點提供模型？
這些模型是透過 Azure 機器學習 登錄提供，可讓 ML 第一種方法裝載和散發 機器學習 資產，例如模型權數、用於執行模型的容器運行時間、用於評估和微調基準和範例的模型和數據集的管線。 這些 ML 登錄建置在可高度擴充且企業就緒的基礎結構之上，這些基礎結構會：
使用內建異地復寫，將低延遲存取模型成品傳遞給所有 Azure 區域。
支援企業安全性需求，以限制使用 Azure 原則 且使用受控虛擬網路安全部署的模型存取。
評估並微調部署為即時端點的模型
您可以使用 Azure 機器學習 Pipelines，在 Azure 機器學習 的「由 Azure AI 策劃」集合中評估及微調。 您可以選擇攜帶自己的評估和微調程序代碼，並只存取模型權數，或使用提供內建評估和微調功能的 Azure 機器學習元件。 若要深入瞭解， 請遵循此連結。
將模型部署為即時端點的推斷
可用於部署至即時端點的模型可以部署到 Azure 機器學習 在線端點進行即時推斷，也可以用於 Azure 機器學習 Batch 推斷來批處理您的數據。 部署至在線端點時，您必須在 Azure 訂用帳戶中擁有虛擬機配額，以取得最佳執行模型所需的特定 SKU。 某些模型可讓您部署暫時 共用配額以測試模型。 深入瞭解部署模型：
使用即時端點建置 Generative AI Apps
提示流程提供原型設計、實驗、反覆運算和部署 AI 應用程式的功能。 您可以使用在提示流程中部署為即時端點的模型搭配 開啟模型 LLM 工具。 您也可以在熱門 LLM 工具中使用即時端點所公開的 REST API，例如 LangChain 搭配 Azure 機器學習 擴充功能。
部署為即時端點之模型的內容安全性
Azure AI 內容 保管庫 ty （AACS） 服務可與即時端點搭配使用，以篩選各種有害內容類別，例如性內容、暴力、仇恨和自我傷害，以及進階威脅，例如越獄風險偵測和受保護的材料文字偵測。 您可以參考此筆記本以參考與 AACS for Llama 2 整合，或使用提示流程中的內容 保管庫 ty（文字）工具，將模型的響應傳遞至 AACS 以進行篩選。 您將根據 AACS 定價 個別計費，以供此類使用。
使用不在模型目錄中的模型
對於模型類別目錄中無法使用的模型，Azure 機器學習 提供開放且可延伸的平臺，以使用您選擇的模型。 您可以使用 Azure 機器學習 開放且可延伸的平臺功能，將模型帶入任何架構或運行時間，例如容器的 Azure 機器學習 環境，這些容器可以封裝架構和運行時間，以及 Azure 機器學習 管線，讓程式代碼評估或微調模型。 如需匯入模型及使用內建運行時間和管線的範例參考，請參閱此筆記本。
模型即服務 （隨用隨付）
模型目錄中的某些模型可以使用隨用隨付計費來部署;這種部署方法稱為模型即服務 （MaaS）。 透過 MaaS 提供的模型裝載於由 Microsoft 管理的基礎結構中，可讓 API 存取模型提供者的模型。 API 型存取可大幅降低存取模型的成本，並大幅簡化布建體驗。 大部分的 MaaS 模型都隨附令牌型定價。
第三方模型如何在 MaaS 中使用？
模型提供者會提供可供隨用隨付部署的模型，但裝載於 Microsoft 管理的 Azure 基礎結構中，並透過 API 存取。 模型提供者會定義授權條款，並設定其模型使用的價格，而 Azure 機器學習 服務會管理裝載基礎結構、提供推斷 API，並作為數據處理者，供透過 MaaS 部署的模型提交和內容輸出的提示。 在數據隱私權一文中深入瞭解 MaaS 的數據處理。
在 MaaS 中支付模型使用量的費用
透過 MaaS 部署之模型的探索、訂用帳戶和取用體驗位於 Azure AI Studio 中，並 Azure Machine Learning 工作室。 使用者接受使用模型的授權條款，並在部署期間提供取用價格資訊。 來自第三方提供者的模型會根據 商業市集使用規定向 Azure Marketplace 計費;來自 Microsoft 的模型會使用 Azure 計量作為第一方取用服務來計費。 如產品條款所述，第一方取用服務是使用 Azure 計量購買，但不受 Azure 服務條款約束;使用這些模型受限於提供的授權條款。
透過 MaaS 部署模型以進行推斷
透過 MaaS 部署模型可讓使用者存取準備好使用推斷 API，而不需要設定基礎結構或布建 GPU，就能節省工程時間和資源。 這些 API 可以與數個 LLM 工具整合，使用量會如上一節所述計費。
使用隨用隨付透過 MaaS 微調模型
對於透過 MaaS 取得並支援微調的模型，使用者可以使用隨用隨付計費來利用託管微調功能，使用他們提供的數據來量身打造模型。 如需詳細資訊，請參閱 微調 Azure AI Studio 中的 Llama 2 模型 。
使用透過 MaaS 部署的模型 RAG
Azure AI Studio 可讓使用者利用向量索引和擷取擴增世代。 可透過 MaaS 部署的模型可用來根據自訂資料產生內嵌和推斷，以產生其使用案例特定的答案。 如需詳細資訊，請參閱 擷取增強式產生和索引。
供應專案和模型的區域可用性
隨用隨付部署僅適用於 Azure 訂用帳戶屬於模型提供者已提供供應專案的國家/地區的計費帳戶的使用者（請參閱下一節表格中的「供應專案可用性區域」）。 如果供應專案可在相關區域中使用，則用戶必須具有 Azure 區域中的工作區，模型可供部署或微調，如適用（請參閱下表中的「工作區區域」數據行）。
| 模型 | 供應專案可用性區域 | 用於部署的工作區區域 | 微調工作區區域 |
|---|---|---|---|
| Llama-3-70B-指示 Llama-3-8B-指示 |
Microsoft 受管理的國家/地區 | 美國東部 2，瑞典中部 | 無法使用 |
| Llama-2-7b Llama-2-13b Llama-2-70b |
Microsoft 受管理的國家/地區 | 美國東部 2、美國西部 3 | 美國西部 3 |
| Llama-2-7b-chat Llama-2-13b-chat Llama-2-70b-chat |
Microsoft 受管理的國家/地區 | 美國東部 2、美國西部 3 | 無法使用 |
| Mistral-Large Mistral Small |
Microsoft 受管理的國家/地區 | 美國東部 2，瑞典中部 | 無法使用 |
| Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-多語系 |
Microsoft 受管理的國家/地區 日本 |
美國東部 2，瑞典中部 | 無法使用 |
透過 MaaS 部署之模型的內容安全性
Azure 機器學習 針對透過 MaaS 部署的語言模型，實作 Azure AI 內容的預設設定 保管庫 ty 文字仲裁篩選條件，以取得有害內容（性內容、暴力、仇恨和自我傷害）。 深入了解 內容篩選。 當服務處理產生內容的提示時，內容篩選會以同步方式發生，而且您可以根據 AACS 定價 來個別計費，以供此類使用。 完成此表單，以停用部署為服務之模型的內容篩選。
深入了解
- 瞭解如何使用 Azure 機器學習 中的基礎模型，以使用 Azure Machine Learning 工作室 UI 或程式代碼型方法進行微調、評估和部署。
- 探索 Azure Machine Learning 工作室的模型目錄。 您需要 Azure Machine Learning 工作區，才能探索目錄。
- 評估、微調及部署 Azure 機器學習 所策劃的模型。