共用方式為

概觀：使用 Azure AI Studio 部署模型、流程和 Web 應用程式

  • 發行項

重要

本文所述的部分功能可能僅適用於預覽版。 此預覽版本沒有服務等級協定，不建議將其用於生產工作負載。 可能不支援特定功能，或可能已經限制功能。 如需詳細資訊，請參閱 Microsoft Azure 預覽版增補使用條款。

Azure AI Studio 支援部署大型語言模型 (LLM)、流程和 Web 應用程式。 部署 LLM 或流程使其可在網站、應用程式或其他生產環境中使用。 這通常涉及到將模型裝載在伺服器或雲端中，以及建立 API 或其他介面來讓使用者與模型互動。

您通常會聽到與模型的此互動稱為「推斷」。 推斷是一種程序，可將新的輸入資料套用至模型以產生輸出。 推斷可用於各種應用程式。 例如，聊天完成模型可用來自動完成人員即時輸入的文字或片語。 聊天模型可用來產生「您是否可以建立西雅圖一天的參訪行程？」的回應。 可能性有無限多種。

部署模型

首先，您可能會問：

  • 「我可以部署哪些模型？」Azure AI Studio 支援部署 Microsoft、Hugging Face 和 Meta 策劃的一些最受歡迎的大型語言和視覺基礎模型。
  • 「如何選擇正確的模型？」Azure AI Studio 提供模型目錄，可讓您根據使用案例來搜尋和篩選模型。 您也可以在範例遊樂場上測試模型，再將模型部署到您的專案。
  • 「我可以從 Azure AI Studio 中的哪裡部署模型？」您可以從模型目錄或專案的部署頁面部署模型。

Azure AI Studio 可簡化部署。 簡單的選取或一行程式碼即可部署模型，並產生 API 端點供您的應用程式取用。

Azure OpenAI 模型

Azure OpenAI 可讓您使用來自 Azure 的企業功能存取最新的 OpenAI 模型。 深入了解如何在 AI Studio 中部署 OpenAI 模型。

開放式模型

模型目錄讓您使用不同形式存取各種模型。 模型目錄中的某些模型可以部署為使用隨用隨付的服務，讓使用者能以 API 的形式加以取用，而不需在您的訂用帳戶上裝載這些模型，同時保有企業安全性與合規性組織需求。

使用模型即服務部署模型 （Maas）

此部署選項不需要您的訂用帳戶提供配額。 您部署為無伺服器 API 部署，並以隨用隨付方式依令牌計費。 了解如何使用模型即服務來部署及取用 Llama 2 模型系列。

使用託管的受控基礎結構部署模型

您也可以使用受控基礎結構、虛擬機器和執行個體數目，在您自己的訂用帳戶中裝載開放式模型，以進行容量管理。 目前提供來自 Azure AI、HuggingFace 和 Nvidia 的各種模型。 深入了解如何將開放式模型部署至即時端點。

在 Azure AI Studio 中部署和推斷 LLM 的計費

下表描述在 Azure AI Studio 中部署和推斷 LLM 的計費方式。 若要深入了解如何追蹤成本，請參閱監視整個 Azure Marketplace 中提供的模型成本。

使用案例 Azure OpenAI 模型 部署為無伺服器 API 的模型（隨用隨付） 使用受控計算部署的模型
將模型從模型目錄部署到您的專案 否，不會向您就將 Azure OpenAI 模型部署至您的專案計費收取費用。 是，會向您根據端點的基礎結構收取費用1 是，會向您就裝載模型的基礎結構收取費用2
將模型部署至您的專案之後，在遊樂場上測試聊天模式 是，會根據權杖使用量向您收取費用 是，會根據權杖使用量向您收取費用 無。
在模型類別目錄上的範例遊樂場上測試模型 (如適用) 不適用 無。 無。
在專案下的遊樂場中測試模型 (如適用)，或在專案下的部署詳細資料頁面的測試索引標籤中測試模型。 是，會根據權杖使用量向您收取費用 是，會根據權杖使用量向您收取費用 無。

1 最低端點基礎結構會依每分鐘計費。 不會以隨用隨付方式就裝載模型本身的基礎結構向您收取費用。 刪除端點之後，不會再產生任何費用。

2 計費會根據 SKU 和部署中使用的執行個體數目，以分鐘為單位計 (自建立的那一刻起)。 刪除端點之後，不會再產生任何費用。

部署流程

什麼是流程，以及為何要部署流程？ 流程是一系列的工具，可用來建置生成式 AI 應用程式。 部署流程與部署模型不同，在於您可以自訂流程，加上您自己的資料和其他元件，例如內嵌、向量 DB 查閱， 和自訂連線。 如需操作指南，請參閱使用 Azure AI Studio 部署流程。

例如，您可以建置聊天機器人，其使用您的資料來對使用者查詢產生資訊豐富且有依據的回應。 在遊樂場中新增資料時，系統會自動為您產生提示流程。 您可以依原樣部署流程，或使用您自己的資料和其他元件進一步自訂。 在 Azure AI Studio 中，您也可以從頭開始建立自己的流程。

無論您選擇以什麼方式在 Azure AI Studio 中建立流程，您都可以快速部署流程，並產生 API 端點供應用程式取用。

部署 Web 應用程式

您部署的模型或流程可用於裝載於 Azure 的 Web 應用程式中。 Azure AI Studio 提供部署 Web 應用程式的快速方式。 如需詳細資訊，請參閱 Azure AI 企業聊天教學課程。

規劃已部署模型的 AI 安全性

針對 GPT-4 等 Azure OpenAI 模型，Azure AI Studio 會在部署期間提供 AI 安全篩選，以確保負責任使用 AI。 AI 內容安全性篩選允許縮減有害和敏感性內容，以提升 AI 增強應用程式的安全性。 除了 AI 安全性篩選之外，Azure AI Studio 還提供已部署模型的模型監視。 LLM 的模型監視會使用最新的 GPT 語言模型，以監視並在模型的輸出對產生安全性和品質的設定臨界值效能不佳時警示。 例如，您可以設定監視來評估模型產生的答案與輸入來源的資訊 (「基礎性」) 的對應程度，並與基礎真相句子或文件緊密相符 (「相似性」)。

最佳化已部署模型的效能

最佳化 LLM 需要仔細考量數個因素，包括作業計量 (例如延遲)、品質計量 (例如精確度) 和成本。 務必與經驗豐富的資料科學家和工程師合作，以確保您的模型已針對您的特定使用案例最佳化。

下一步