Databricks Foundation 模型 API
本文提供 Azure Databricks 中基礎模型 API 的概觀。 其中包含使用需求、支援的模型和限制。
什麼是 Databricks Foundation 模型 API？
Databricks 模型服務現在支持基礎模型 API，可讓您從服務端點存取和查詢最先進的開放模型。 透過基礎模型 API，您可以快速且輕鬆地建置利用高質量產生 AI 模型的應用程式，而不需要維護自己的模型部署。
基礎模型 API 以兩種定價模式提供：
- 按令牌付費：這是在 Databricks 上開始存取基礎模型的最簡單方式，建議您使用基礎模型 API 開始旅程。 此模式不是針對高輸送量應用程式或高效能的生產工作負載所設計。
- 布建的輸送量：建議針對所有生產工作負載使用此模式，特別是需要高輸送量、效能保證、微調模型或具有其他安全性需求的工作負載。 布建的輸送量端點可透過 HIPAA 等合規性認證來取得。
如需如何使用這兩種模式和支援的模型指引，請參閱 使用基礎模型 API 。
您可以使用基礎模型 API：
- 查詢一般化 LLM，以在投資更多資源之前，先確認專案的有效性。
- 在投資定型和部署自定義模型之前，先查詢一般化 LLM，以建立 LLM 型應用程式的快速概念證明。
- 使用基礎模型以及向量資料庫，使用擷取增強式產生 （RAG） 來建置聊天機器人。
- 將專屬模型取代為開放式替代方案，以優化成本和效能。
- 有效率地比較 LLM 以查看哪一個是使用案例的最佳候選專案，或將生產模型交換為較佳的執行模型。
- 在可調整、SLA 支援的 LLM 服務解決方案之上建置 LLM 應用程式，以支援生產流量尖峰。
需求
注意
如需使用 DBRX 基底模型的布建輸送量工作負載，請參閱 區域可用性的基礎模型 API 限制 。
使用基礎模型 API
您有多個使用基礎模型 API 的選項。
API 與 OpenAI 相容，因此您甚至可以使用 OpenAI 用戶端進行查詢。 您也可以使用UI、基礎模型 API Python SDK、MLflow 部署 SDK 或 REST API 來查詢支援的模型。 Databricks 建議使用 MLflow 部署 SDK 或 REST API 進行延伸互動，以及嘗試此功能的 UI。
如需評分範例，請參閱 查詢基礎模型 。
按令牌付費基礎模型 API
重要
這項功能處於公開預覽狀態。
您可以在 Azure Databricks 工作區中存取每一令牌付費模型，並建議開始使用。 若要在您的工作區中存取它們，請瀏覽至 左側提要字段中的 [服務 ] 索引卷標。 基礎模型 API 位於 [端點] 清單檢視的頂端。
下表摘要說明每個令牌付費支援的模型。 如需其他模型資訊，請參閱 支援的每個令牌 付費模型。
如果您想要測試這些模型並與其聊天，您可以使用 AI 遊樂場來執行此動作。 請參閱 使用 AI 遊樂場與支援的 LLM 聊天。
| 模型 | 工作類型 | 端點 |
|---|---|---|
| DBRX 指示 | 聊天 | databricks-dbrx-instruct |
| Meta-Llama-3-70B-指示 | 聊天 | databricks-meta-llama-3-70b-instruct |
| Meta-Llama-2-70B-Chat | 聊天 | databricks-llama-2-70b-chat |
| Mixtral-8x7B 指示 | 聊天 | databricks-mixtral-8x7b-instruct |
| MPT 7B 指示 | Completion | databricks-mpt-7b-instruct |
| MPT 30B 指示 | Completion | databricks-mpt-30b-instruct |
| BGE 大型 （英文） | 內嵌 | databricks-bge-large-en |
- 如需如何查詢基礎模型 API 的指引，請參閱 查詢基礎模型 模型。
- 如需必要參數和語法，請參閱 基礎模型 REST API 參考 。
布建的輸送量基礎模型 API
布建的輸送量已正式推出，Databricks 建議為生產工作負載布建輸送量。 布建的輸送量為需要效能保證的基礎模型工作負載提供優化的推斷。 如需如何在布建整個模式中部署基礎模型 API 的逐步指南，請參閱 布建的輸送量基礎模型 API。
佈建的輸送量支援包括：
- 所有大小的基底模型，例如 DBRX 基底。 您可以使用 Databricks Marketplace 來存取基底模型，或者您也可以從擁抱臉部或其他外部來源下載模型，並在 Unity 目錄中註冊它們。 後者的方法適用於所支援模型的任何微調變體，不論採用的微調方法為何。
- 基底模型的微調變體，例如 LlamaGuard-7B。 這包括微調專屬數據的模型。
- 完整自定義權數和標記化工具，例如使用基底模型架構（例如 CodeLlama、Yi-34B-Chat 或 SOLAR-10.7B）進行從頭訓練或繼續預先定型或其他變化的人員。
下表摘要說明布建輸送量支援的模型架構。
| 模型架構 | 工作類型 | 備註 |
|---|---|---|
| DBRX | 聊天或完成 | 如需區域可用性，請參閱 基礎模型 API 限制 。 |
| Meta Llama 3 | 聊天或完成 | |
| Meta Llama 2 | 聊天或完成 | |
| Mistral | 聊天或完成 | |
| Mixtral | 聊天或完成 | |
| 郵電部 | 聊天或完成 | |
| BGE v1.5 （英文） | 內嵌 |
限制
請參閱 模型服務限制和區域。