本文說明 Databricks Foundation 模型 API 所支援的最新開放模型。
備註
如需這些模型和支援的功能區域可用性,請參閱 馬賽克 AI 模型服務的支持基礎模型 。
您可以使用 Databricks 工作區中提供的按使用量計費的端點,將查詢請求發送至這些模型。 請參閱 使用基礎模型 和 按使用代幣付費的模型表 以取得需要使用的模型端點名稱。
除了支援每字元付費模式的模型,基礎模型 API 也提供預設的輸送量模式。 Databricks 建議為生產工作負載使用配置好的吞吐量。 此模式支援模型架構家族的所有模型(例如 DBRX 模型),包括在按令牌付費模式中支援的微調和自定義預訓練模型。 如需支援的架構清單,請參閱 布建的輸送量基礎模型 API 。
您可以使用 AI 遊樂場與這些支援的模型互動。
Meta Llama 4 特立獨行者
重要
請參閱適用的模型開發人員授權和條款,以了解 Llama 4 社群授權和可接受的使用原則。
Llama 4 Maverick 是一個最先進的大型語言模型,由 Meta 建置和訓練。 這是 Llama 模型系列中第一個使用專家混合架構來提高計算效率的模型。 Llama 4 Maverick 支援多種語言,並已針對精確的影像和文字理解使用案例進行優化。 目前,Databricks 對於 Llama 4 Maverick 的支援僅限於文字理解使用案例。 深入瞭解 Llama 4 Maverick。
如同其他大型語言模型,Llama 4 輸出可能會省略某些事實,偶爾會產生虛假資訊。 Databricks 建議在精度特別重要的情況下使用檢索增強生成功能(RAG)。
Meta Llama 3.3 70B 指令
重要
從 2024 年 12 月 11 日開始,Meta-Llama-3.3-70B-Instruct 將在基礎模型 API 中取代對 Meta-Llama-3.1-70B-Instruct 的支援,這適用於按使用量付費的端點。
請參閱 適用的模型開發人員授權和條款,以了解 LLama 3.3 社群授權和可接受的使用原則。
Meta-Llama-3.3-70B-Instruct 是一個最先進的大型語言模型,配置了 128,000 個令牌的上下文,由 Meta 開發和訓練。 此模型支援多種語言,並已針對對話使用案例進行優化。 深入瞭解Meta Llama 3.3。
與其他大型語言模型類似,Llama-3 的輸出可能會省略一些事實,偶爾會產生虛假資訊。 Databricks 建議在精度特別重要的情況下使用檢索增強生成功能(RAG)。
Meta Llama 3.1 405B 指導版
重要
此模型搭配基礎模型 API 的使用處於 公開預覽狀態。 如果您在使用此模型時遇到端點失敗或穩定錯誤,請連絡 Databricks 帳戶小組。
請參閱 Llama 3.1 社群授權和可接受使用原則的 適用模型開發人員授權和條款。
Meta-Llama-3.1-405B-Instruct 是目前最大、公開可用的先進大型語言模型,由 Meta 建置和訓練,並通過 Azure Machine Learning 使用 AzureML 模型目錄進行發行。 使用此模型可讓客戶解除鎖定新功能,例如進階、多步驟推理和 高品質綜合數據產生。 此模型在品質方面具有 GPT-4-Turbo 的競爭力。
如同 Meta-Llama-3.1-70B-Instruct,此模型的內容為 128,000 個令牌,且支援十種語言。 它符合人類對實用和安全性的喜好設定,並已針對對話使用案例進行優化。 深入瞭解Meta Llama 3.1 模型。
與其他大型語言模型類似,Llama-3.1 的輸出可能會省略一些事實,偶爾會產生虛假資訊。 Databricks 建議在精度特別重要的情況下使用檢索增強生成功能(RAG)。
Meta Llama 3.1 8B 指示
重要
請參閱 適用的模型開發人員授權和條款,以瞭解 LLama 3.1 社群授權和可接受的使用原則。
Meta-Llama-3.1-8B-Instruct 是最先進的大型語言模型,具有 128,000 個上下文範圍的標記,由 Meta 建構和訓練。 此模型支援多種語言,並已針對對話使用案例進行優化。 深入瞭解Meta Llama 3.1。
與其他大型語言模型類似,Llama-3 的輸出可能會省略一些事實,偶爾會產生虛假資訊。 Databricks 建議在精度特別重要的情況下使用檢索增強生成功能(RAG)。
Anthropic Claude 十四行詩 4
重要
客戶有責任確保其遵守 Anthropic 的 可接受使用政策 條款。 另請參閱 Databricks Master 雲端服務合約。
Claude Sonnet 4 是一種最先進的混合推理模型,由人類學建置和定型。 此模型提供兩種模式:近乎即時的回應和擴充思維,以根據工作的複雜度進行更深入的推理。 Claude Sonnet 4 已針對程式代碼開發、大規模內容分析和代理程式應用程式開發等各種工作進行優化。
如同其他大型語言模型,Claude Sonnet 4 輸出可能會省略一些事實,偶爾會產生虛假資訊。 Databricks 建議在精度特別重要的情況下使用檢索增強生成功能(RAG)。
此端點由 Databricks Inc. 裝載於 AWS 的 Databricks 安全環境中。
人類科洛德·奧普斯 4
重要
客戶有責任確保其遵守 Anthropic 的 可接受使用政策 條款。 另請參閱 Databricks Master 雲端服務合約。
克勞德·Opus 4 是一種最先進的混合推理模型,由人類學建置和定型。 此模型提供兩種模式:近乎即時的回應和擴充思維,以根據工作的複雜度進行更深入的推理。 Claude Opus 4 已針對各種工作進行優化,例如進階程式碼生成、代理協同、多來源研究、內容創作,以及運用上下文保留進行摘要。
如同其他大型語言模型,Claude Opus 4 輸出可能會省略某些事實,偶爾會產生虛假資訊。 Databricks 建議在精度特別重要的情況下使用檢索增強生成功能(RAG)。
此端點由 Databricks Inc. 裝載於 AWS 的 Databricks 安全環境中。
人類科洛德 3.7 索內特
重要
客戶有責任確保其遵守 Anthropic 的 可接受使用政策 條款。 另請參閱 Databricks Master 雲端服務合約。
Claude 3.7 Sonnet 是一種最先進的混合推理模型,由人類學建置和定型。 它是一種大型語言模型和推理模型,能夠根據工作的複雜度快速響應或擴充其推理。 在延伸思維模式中時,使用者可以看到 Claude 3.7 Sonnet 的推理步驟。 Claude 3.7 Sonnet 已針對程式代碼產生、數學推理和下列指示等各種工作進行優化。
如同其他大型語言模型,Claude 3.7 輸出可能會省略一些事實,偶爾會產生虛假資訊。 Databricks 建議在精度特別重要的情況下使用檢索增強生成功能(RAG)。
此端點由 Databricks Inc. 裝載於 AWS 的 Databricks 安全環境中。
GTE 大型 (英文)
重要
GTE Large(En)依據並遵循Apache 2.0 授權條款提供,著作權(c)Apache Software Foundation。保留所有權利。 客戶須負責確保符合適用的模型授權。
一般文字內嵌 (GTE) 是文字內嵌模型,可將任何文字對應至 1024 維度內嵌向量,以及 8192 標記的內嵌視窗。 這些向量可用於 LLM 的向量索引,以及擷取、分類、問答、叢集或語意搜尋等工作。 此端點提供模型的英文版本,而且不會產生標準化的內嵌。
嵌入模型與 LLM 搭配使用時,在檢索增強生成(RAG)情境中特別有效。 GTE 可用來尋找可在 LLM 內容中使用的大量文件的相關文字片段。
BGE 大型(英)
BAAI 一般內嵌 (BGE) 是文字內嵌模型,可將任何文字對應至 1024 維度內嵌向量,以及 512 標記的內嵌視窗。 這些向量可用於 LLM 的向量索引,以及擷取、分類、問答、叢集或語意搜尋等工作。 此端點提供模型的英文版本,併產生標準化的內嵌。
嵌入模型與 LLM 搭配使用時,在檢索增強生成(RAG)情境中特別有效。 BGE 可用來尋找可在 LLM 內容中使用的大量文件的相關文字片段。
在RAG應用程式中,您可以藉由包含指令參數來改善擷取系統的效能。 BGE 作者建議嘗試指示 "Represent this sentence for searching relevant passages:"
進行查詢內嵌,不過其效能影響取決於網域。