支援的按權杖付費的模型
重要
只有 GTE Large (En) 和 Meta Llama 3.1 70B Instruct 模型可在下列按權杖付費歐盟和美國的支援區域中使用。
請參閱僅限美國區域支援的按權杖付費模型的 API 限制。
本文說明 Databricks Foundation 模型 API 以按令牌付費模式支援的最新開放模型。
您可以使用 Databricks 工作區中可用的每一令牌端點，將查詢要求傳送至這些模型。 如需要使用的模型端點名稱，請參閱 查詢產生式 AI 模型 和 每個令牌支援的模型數據表 。
除了支援以每一令牌付費模式的模型，基礎模型 API 也提供布建的輸送量模式。 Databricks 建議為生產工作負載佈建輸送量。 此模式支援模型架構系列的所有模型（例如 DBRX 模型），包括依令牌付費模式支援的微調和自定義預先定型模型。 如需支援的架構清單，請參閱 布建的輸送量基礎模型 API 。
您可以使用 AI 遊樂場與這些支援的模型互動。
Meta Llama 3.1 405B 指示
重要
此模型搭配基礎模型 API 的使用處於 公開預覽狀態。 如果您在使用此模型時遇到端點失敗或穩定錯誤，請連絡 Databricks 帳戶小組。
重要
Meta Llama 3.1 根據 LLAMA 3.1 Community License 獲得授權，Copyright © Meta Platforms, Inc。著作權所有，並保留一切權利。 客戶應負責確保遵循適用的模型授權。
Meta-Llama-3.1-405B-指示是最大的開放可用大型語言模型，由 Meta 建置和定型，並使用 AzureML 模型目錄散發 Azure 機器學習。 使用此模型可讓客戶解除鎖定新功能，例如進階、多步驟推理和 高品質綜合數據產生。 此模型在品質方面具有 GPT-4-Turbo 的競爭力。
如同 Meta-Llama-3.1-70B-Instruct，此模型的內容為 128,000 個令牌，且支援十種語言。 它符合人類對實用和安全性的喜好設定，並已針對對話使用案例進行優化。 深入瞭解Meta Llama 3.1 模型。
與其他大型語言模型類似，Llama-3.1 的輸出可能會省略一些事實，偶爾會產生虛假資訊。 Databricks 建議在精確度特別重要的案例中使用擷取增強產生 （RAG）。
DBRX 指示
重要
DBRX 係依 Databricks Open Model License 授權並受其約束，Copyright © Databricks, Inc。著作權所有，並保留一切權利。 客戶應負責確保遵循適用的模型授權，包括 Databricks 使用原則。
DBRX 指示是 Databricks 訓練的專家（MoE）語言模型最先進的混合體。
此模型在標準基準檢驗上建立了 開放原始碼 模型，並且擅長一組廣泛的自然語言工作，例如：文字摘要、問答、擷取和編碼。
DBRX 指示最多可以處理 32k 個輸入長度的令牌，併產生最多 4k 個令牌的輸出。 由於其MoE架構，DBRX指示對於推斷非常有效率，因此在總共132B定型參數中只啟用36B個參數。 為此模型提供服務的按令牌付費端點有每秒一個查詢的速率限制。 請參閱模型服務限制和區域。
與其他大型語言模型類似，DBRX 指示輸出可能會省略某些事實，偶爾會產生虛假資訊。 Databricks 建議在精確度特別重要的案例中使用擷取增強產生 （RAG）。
DBRX 模型會使用下列預設系統提示，以確保模型回應的相關性和正確性：
You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.
Meta Llama 3.1 70B 指示
重要
從 2024 年 7 月 23 日起，Meta-Llama-3.1-70B-Instruct 會取代基礎模型 API 中依權杖付費端點中對 Meta-Llama-3-70B-Instruct 的支援。
重要
Meta Llama 3.1 根據 LLAMA 3.1 Community License 獲得授權，Copyright © Meta Platforms, Inc。著作權所有，並保留一切權利。 客戶應負責確保遵循適用的模型授權。
Meta-Llama-3.1-70B-指示是最先進的大型語言模型，其內容為 128,000 個令牌，由 Meta 建置和定型。 此模型支援十種語言，符合人類對實用和安全性的喜好設定，並已針對對話使用案例進行優化。 深入瞭解Meta Llama 3.1 模型。
與其他大型語言模型類似，Llama-3 的輸出可能會省略一些事實，偶爾會產生虛假資訊。 Databricks 建議在精確度特別重要的案例中使用擷取增強產生 （RAG）。
Mixtral-8x7B 指示
Mixtral-8x7B 指示是由Mistral AI 訓練的專家模型 （SMoE） 高品質疏鬆混合體。 Mixtral-8x7B 指示可用於各種工作，例如問答、摘要和擷取。
Mixtral 可以處理最多 32k 個令牌的內容長度。 Mixtral 可以處理英文、法文、義大利文、德文和西班牙文。 Mixtral 比對或表現優於 Llama 2 70B 和 GPT3.5 在大多數基準 （Mixtral 性能），而在推斷期間比 Llama 70B 快四倍。
與其他大型語言模型類似，Mixtral-8x7B 指示模型不應依賴來產生實際準確的資訊。 雖然已投入大量精力來清除預先定型數據，但此模型可能會產生淫穢、偏差或其他冒犯性輸出。 為了降低風險，Databricks 預設會使用Mistral 安全模式系統提示的變體。
GTE 大型 （En）
重要
GTE Large （En） 隨附 於 Apache 2.0 授權，著作權 © Apache Software Foundation，並保留所有權利。 客戶應負責確保遵循適用的模型授權。
一般文字內嵌 （GTE） 是文字內嵌模型，可將任何文字對應至 1024 維度內嵌向量，以及 8192 標記的內嵌視窗。 這些向量可用於 LLM 的向量資料庫中，以及擷取、分類、問答、叢集或語意搜尋等工作。 此端點提供模型的英文版本，而且不會產生標準化的內嵌。
內嵌模型與 LLM 搭配使用時特別有效，以擷取增強世代 （RAG） 使用案例。 GTE 可用來尋找可在 LLM 內容中使用的大量文件的相關文字片段。
BGE 大型 （En）
BAAI 一般內嵌 （BGE） 是文字內嵌模型，可將任何文字對應至 1024 維度內嵌向量，以及 512 標記的內嵌視窗。 這些向量可用於 LLM 的向量資料庫中，以及擷取、分類、問答、叢集或語意搜尋等工作。 此端點提供模型的英文版本，併產生標準化的內嵌。
內嵌模型與 LLM 搭配使用時特別有效，以擷取增強世代 （RAG） 使用案例。 BGE 可用來尋找可在 LLM 內容中使用的大量文件的相關文字片段。
在RAG應用程式中，您可以藉由包含指令參數來改善擷取系統的效能。 BGE 作者建議嘗試查詢內嵌的指示 "Represent this sentence for searching relevant passages:" ，不過其效能影響取決於網域。