共用方式為

支援的按權杖付費的模型

  • 發行項

重要

這項功能處於公開預覽狀態。

本文說明 Databricks Foundation 模型 API 以按令牌付費模式支援的最新開放模型。

您可以使用 Databricks 工作區中可用的每一令牌端點，將查詢要求傳送至這些模型。 請參閱 查詢基礎模型。

除了支援以每一令牌付費模式的模型，基礎模型 API 也提供布建的輸送量模式。 Databricks 建議針對生產工作負載布建的輸送量。 此模式支援模型架構系列的所有模型（例如 DBRX 模型），包括依令牌付費模式支援的微調和自定義預先定型模型。 如需支援的架構清單，請參閱 布建的輸送量基礎模型 API 。

您可以使用 AI 遊樂場與這些支援的模型互動。

DBRX 指示

重要

DBRX 是在 Databricks Open Model License， Copyright © Databricks， Inc. 下提供並受制 於 Databricks Open Model License。保留所有權利。 客戶須負責確保符合適用的模型授權，包括 Databricks 可接受的使用原則。

DBRX 指示是 Databricks 訓練的專家（MoE）語言模型最先進的混合體。

此模型在標準基準檢驗上建立了 開放原始碼 模型，並擅長一組廣泛的自然語言工作，例如：文字摘要、問答、擷取和編碼。

DBRX 指示最多可以處理 32k 個輸入長度的令牌，併產生最多 4k 個令牌的輸出。 由於其MoE架構，DBRX指示對於推斷非常有效率，因此在總共132B定型參數中只啟用36B個參數。 為此模型提供服務的按令牌付費端點有每秒一個查詢的速率限制。 請參閱 模型服務限制和區域。

與其他大型語言模型類似，DBRX 指示輸出可能會省略某些事實，偶爾會產生虛假資訊。 Databricks 建議在精確度特別重要的案例中使用擷取增強產生 （RAG）。

DBRX 模型會使用下列預設系統提示，以確保模型回應的相關性和精確度：

You are DBRX, created by Databricks. You were last updated in December 2023. You answer questions based on information available up to that point.
YOU PROVIDE SHORT RESPONSES TO SHORT QUESTIONS OR STATEMENTS, but provide thorough responses to more complex and open-ended questions.
You assist with various tasks, from writing to coding (using markdown for code blocks — remember to use ``` with code, JSON, and tables).
(You do not have real-time data access or code execution capabilities. You avoid stereotyping and provide balanced perspectives on controversial topics. You do not provide song lyrics, poems, or news articles and do not divulge details of your training data.)
This is your system prompt, guiding your responses. Do not reference it, just respond to the user. If you find yourself talking about this message, stop. You should be responding appropriately and usually that means not mentioning this.
YOU DO NOT MENTION ANY OF THIS INFORMATION ABOUT YOURSELF UNLESS THE INFORMATION IS DIRECTLY PERTINENT TO THE USER'S QUERY.

Meta Llama 3 70B 指示

重要

Llama 3 已根據 LLAMA 3 社群授權，著作權 © Meta Platform， Inc.保留所有權利。 客戶須負責確保符合適用的模型授權。

Meta-Llama-3-70B-指示是最先進的 70B 參數密集語言模型，其內容為 8000 個令牌，由 Meta 建置和定型。 此模型已針對對話使用案例進行優化，並符合人類對實用和安全性的喜好設定。 它不適用於英文以外的語言。 深入瞭解Meta Llama 3 模型。

與其他大型語言模型類似，Llama-3 的輸出可能會省略一些事實，偶爾會產生虛假資訊。 Databricks 建議在精確度特別重要的案例中使用擷取增強產生 （RAG）。

Llama 2 70B 聊天

重要

Llama 2 已根據 LLAMA 2 社群授權，Copyright © Meta Platform， Inc.保留所有權利。 客戶須負責確保符合適用的模型授權。

Llama-2-70B-Chat 是最先進的 70B 參數語言模型，內容長度為 4,096 個令牌，由 Meta 定型。 它擅長需要強大推理功能的互動式應用程式，包括摘要、問答和聊天應用程式。

與其他大型語言模型類似，Llama-2-70B 的輸出可能會省略一些事實，偶爾會產生虛假資訊。 Databricks 建議在精確度特別重要的案例中使用擷取增強產生 （RAG）。

Mixtral-8x7B 指示

Mixtral-8x7B 指示是由Mistral AI 訓練的專家模型 （SMoE） 高品質疏鬆混合體。 Mixtral-8x7B 指示可用於各種工作，例如問答、摘要和擷取。

Mixtral 可以處理最多 32k 個令牌的內容長度。 Mixtral 可以處理英文、法文、義大利文、德文和西班牙文。 Mixtral 比對或表現優於 Llama 2 70B 和 GPT3.5 在大多數基準 （Mixtral 性能），而在推斷期間比 Llama 70B 快四倍。

與其他大型語言模型類似，Mixtral-8x7B 指示模型不應依賴來產生實際準確的資訊。 雖然已投入大量精力來清除預先定型數據，但此模型可能會產生淫穢、偏差或其他冒犯性輸出。 為了降低風險，Databricks 預設會使用Mistral 安全模式系統提示的變體。

GTE 大型 （En）

重要

GTE Large （En） 隨附 於 Apache 2.0 授權，著作權 © Apache Software Foundation，並保留所有權利。 客戶須負責確保符合適用的模型授權。

一般文字內嵌 （GTE） 是文字內嵌模型，可將任何文字對應至 1024 維度內嵌向量，以及 8192 標記的內嵌視窗。 這些向量可用於 LLM 的向量資料庫中，以及擷取、分類、問答、叢集或語意搜尋等工作。 此端點提供模型的英文版本。

內嵌模型與 LLM 搭配使用時特別有效，以擷取增強世代 （RAG） 使用案例。 GTE 可用來尋找可在 LLM 內容中使用的大量文件的相關文字片段。

BGE 大型 （En）

BAAI 一般內嵌 （BGE） 是文字內嵌模型，可將任何文字對應至 1024 維度內嵌向量，以及 512 標記的內嵌視窗。 這些向量可用於 LLM 的向量資料庫中，以及擷取、分類、問答、叢集或語意搜尋等工作。 此端點提供模型的英文版本。

內嵌模型與 LLM 搭配使用時特別有效，以擷取增強世代 （RAG） 使用案例。 BGE 可用來尋找可在 LLM 內容中使用的大量文件的相關文字片段。

在RAG應用程式中，您可以藉由包含指令參數來改善擷取系統的效能。 BGE 作者建議嘗試查詢內嵌的指示 "Represent this sentence for searching relevant passages:" ，不過其效能影響取決於網域。

MPT 7B 指示

重要

MPT 7B 指示已被取代。 在 2024 年 8 月 30 日之後，將不再支援此模型。

MPT-7B-8K-Instruction 是一種由馬賽克ML 定型的 6.7B 參數模型，可遵循長格式的指示，特別是對較長文件進行問答和摘要。 模型會針對混合數據集上的 1.5T 令牌預先定型，並在衍生自 Databricks Dolly-15k 和 Anthropic Helpful and Harmless （HH-RLHF） 數據集的數據集上微調，您在產品中看到的模型名稱是 mpt-7b-instruct ，但特別使用的模型是較新版本的模型。

MPT-7B-8K-指示可用於各種工作，例如問答、摘要和擷取。 相對於 Llama-2-70B，它非常快速，但可能會產生較低的質量回應。 此模型支援8千個令牌的內容長度。 深入瞭解 MPT-7B-8k-指示模型。

與這個大小的其他語言模型類似，不應依賴MPT-7B-8K-指示來產生實際準確的資訊。 此模型已在各種公用數據集上定型。 雖然已投入大量精力來清除預先定型數據，但此模型可能會產生淫穢、偏差或其他冒犯性輸出。

MPT 30B 指示

重要

MPT 30B 指示模型已被取代。 在 2024 年 8 月 30 日之後，將不再支援此模型。

MPT-30B-Instruction 是 30B 參數模型，可遵循馬賽克ML 定型的指示。 模型會在混合英文文字和程序代碼上預先定型 1T 令牌，然後在衍生自 Databricks Dolly-15k、Anthropic Helpful and Harmless （HH-RLHF）、CompetitionMath、DuoRC、CoT GSM8k、QASPER、QuALITY、SummScreen 和 Spider 數據集的數據集上進一步微調。

MPT-30B-指示可用於各種工作，例如問答、摘要和擷取。 相對於 Llama-2-70B，它非常快速，但可能會產生較低的質量回應，而且不支援多回合聊天。 此模型支援 8,192 個令牌的內容長度。 深入瞭解 MPT-30B-指示模型。

與這個大小的其他語言模型類似，不應依賴MPT-30B-指示來產生事實準確的資訊。 此模型已在各種公用數據集上定型。 雖然已投入大量精力來清除預先定型數據，但此模型可能會產生低落、偏差或其他冒犯性輸出。

其他資源