Mosaic AI 模型服務上支援的基礎模型

本文說明您可以使用 馬賽克 AI 模型服務提供的基礎模型。

基礎模型是大型、預先定型的類神經網路，可同時針對大型和廣泛的數據定型。 這些模型的設計目的是要學習語言、影像或其他數據類型的一般模式，並可透過進一步的訓練來調整特定任務。 您使用某些基礎模型時，須遵守該模型的條款及可接受使用政策。 請參見 適用模型術語。

模型服務會根據您的需求，提供彈性的選項來裝載和查詢基礎模型：

  • 按令牌付費：適合用於實驗和快速探索。 此選項可讓您在 Databricks 工作區中查詢預先設定的端點，而不需要預先承諾基礎結構。
  • AI 功能（批次推論）：部分由 Databricks 託管的模型已為 AI 功能最佳化。 您可以使用這些函式及其支援的模型，將 AI 套用至您的數據，並大規模執行批次推斷生產工作負載。
  • 布建的輸送量：建議用於需要效能保證的生產使用案例。 此選項可讓您使用優化的服務端點來部署微調的基礎模型。
  • 外部模型：此選項可讓您存取 Databricks 外部裝載的基礎模型，例如 OpenAI 或 Anthropic 所提供的模型。 這些模型可以在 Databricks 中集中管理，以簡化治理。

Databricks 上裝載的基礎模型

Databricks 裝載最先進的開放基礎模型，如 Meta Llama。 這些模型是使用 基礎模型 API 提供的。

下表摘要說明根據模型服務功能，每個區域都支援哪些 Databricks 裝載的模型和模型系列。

重要

  • Anthropic Claude 3.7 Sonnet已不再販售。 請參閱 淘汰模型 ， 以取得建議的取代模型，以及如何在淘汰期間移轉的指引。
  • Meta Llama 4 Maverick 適用於公開預覽版中已配置的吞吐量工作負載的基礎模型 API。
  • Meta-Llama-3.1-405B-Instruct 已不再支援按代幣付費工作負載。 自 2026 年 5 月 15 日起，該服務也將對配置吞吐量的工作負載停止支援。 請參閱 淘汰模型 ， 以取得建議的取代模型，以及如何在淘汰期間移轉的指引。
  • 數個較舊的車型家族已經退役。 完整退役車型及推薦替換品，請參見 退役車型 。
區域 Foundation Model API 以代幣計費 AI 函數（批次推論） Foundation Model API 預配置的吞吐量
australiacentral 不支援 不支援 不支援
australiacentral2 不支援 不支援 不支援
australiaeast 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick （預覽）⥂
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
australiasoutheast 不支援 不支援 不支援
brazilsouth 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick⥂（預覽）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B
    • Meta Llama 3.1⥂
    • GTE v1.5（英文）⥂
    • BGE v1.5（英文版）⥂
canadacentral 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick⥂（預覽）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B
    • Meta Llama 3.1⥂
    • GTE v1.5（英文）⥂
    • BGE v1.5（英文版）⥂
canadaeast 不支援 不支援 不支援
centralindia 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick⥂（預覽）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B
    • Meta Llama 3.1⥂
    • GTE v1.5（英文）⥂
    • BGE v1.5（英文版）⥂
centralus 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
chinaeast2 不支援 不支援 不支援
chinaeast3 不支援 不支援 不支援
chinanorth2 不支援 不支援 不支援
chinanorth3 不支援 不支援 不支援
eastasia 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick⥂（預覽）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B
    • Meta Llama 3.1⥂
    • GTE v1.5（英文）⥂
    • BGE v1.5（英文版）⥂
eastus 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
eastus2 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
francecentral 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
germanywestcentral 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
japaneast 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick⥂（預覽）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B
    • Meta Llama 3.1⥂
    • GTE v1.5（英文）⥂
    • BGE v1.5（英文版）⥂
japanwest 不支援 不支援 不支援
koreacentral 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick⥂
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B
    • Meta Llama 3.1⥂
mexicocentral 不支援 不支援 不支援
northcentralus 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
northeurope 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
norwayeast 不支援 不支援 不支援
qatarcentral 不支援 不支援 不支援
southafricanorth 不支援 不支援 不支援
southcentralus 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
southeastasia 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick⥂（預覽）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B
    • Meta Llama 3.1⥂
    • GTE v1.5（英文）⥂
    • BGE v1.5（英文版）⥂
southindia 不支援 不支援 不支援
swedencentral 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
switzerlandnorth 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
switzerlandwest 不支援 不支援 不支援
uaenorth 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick⥂（預覽）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B
    • Meta Llama 3.1⥂
    • GTE v1.5（英文）⥂
    • BGE v1.5（英文版）⥂
uksouth 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B⥂
    • OpenAI GPT OSS 20B⥂
    • Google Gemma 3 12B⥂
    • Meta Llama 4 Maverick⥂（預覽）
    • Meta Llama 3.3⥂
    • Meta Llama 3.2 3B⥂
    • Meta Llama 3.2 1B
    • Meta Llama 3.1⥂
    • GTE v1.5（英文）⥂
    • BGE v1.5（英文版）⥂
ukwest 不支援 不支援 不支援
westcentralus 不支援 不支援 不支援
westeurope 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
westindia 不支援 不支援 不支援
westus 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
westus2 支援下列模型：
 支援下列模型：
  • 即時推論支援下列模型系列：
    • OpenAI GPT OSS 120B
    • OpenAI GPT OSS 20B
    • 谷歌 Gemma 3 12B
    • Meta Llama 4 小牛 （預覽）
    • Meta Llama 3.3
    • Meta Llama 3.2 3B
    • ** Meta Llama 3.2 1B
    • 元駱駝 3.1
    • GTE v1.5 （英文）
    • BGE v1.5 （英文）
westus3 支援下列模型：
 不支援 不支援

⥂ 此模型基於 GPU 可用性支援，並需 啟用跨地理路由。

Databricks 外部裝載的 Access 基礎模型

LLM 提供者所建立的基礎模型，例如 OpenAI 和 Anthropic，也可以透過 外部模型 在 Databricks 上存取。 這些模型裝載於 Databricks 外部，您可以建立端點來查詢它們。 這些端點可由 Azure Databricks 集中管理，簡化組織內各種 LLM 供應商的使用與管理。

下表提供支援模型和對應 端點類型的非詳盡清單。 您可以使用列出的模型關聯，協助您為任何新發行的模型類型設定端點，因為它們可供指定提供者使用。 客戶須負責確保符合適用的模型授權。

注意

隨著 LLM 的快速發展，不保證這份列表隨時都是最新的。 通常支援來自相同提供者的新模型版本，即使它們不在清單中也一樣。

模型提供者 llm/v1/completions (完成) llm/v1/chat llm/v1/向量嵌入
OpenAI**
  • gpt-3.5-turbo-指示
  • babbage-002
  • davinci-002
  • o1
  • o1-mini
  • o1-mini-2024年09月12日
  • gpt-3.5-turbo
  • gpt-4
  • gpt-4-turbo
  • gpt-4-turbo-2024-04
  • gpt-4o
  • gpt-4o-2024年05月13日
  • gpt-4o-mini
  • text-embedding-ada-002
  • 文本嵌入-3-大型
  • 文本嵌入-3-小型
Azure OpenAI**
  • text-davinci-003
  • gpt-35-turbo-指令
  • o1
  • o1-mini
  • gpt-35-turbo
  • gpt-35-turbo-16k
  • gpt-4
  • gpt-4-turbo
  • gpt-4-32k
  • gpt-4o
  • gpt-4o-mini
  • text-embedding-ada-002
  • 文本嵌入-3-大型
  • 文本嵌入-3-小型
人類學的
  • claude-1
  • claude-1.3-100k
  • claude-2
  • claude-2.1
  • claude-2.0
  • claude-instant-1.2
  • claude-3-5-sonnet-latest
  • 克勞德-3-5-俳句-最新
  • claude-3-5-opus-最新版本
  • claude-3-5-sonnet-20241022
  • claude-3-5-haiku-20241022
  • claude-3-5-sonnet-20240620
  • claude-3-haiku-20240307
  • claude-3-opus-20240229
  • claude-3-sonnet-20240229
Cohere**
  • 指令
  • 指令燈
  • command-r7b-12-2024
  • command-r-plus-08-2024
  • command-r-08-2024
  • command-r-plus
  • 命令鍵-R
  • 指令
  • 指令光夜間版
  • 指令燈
  • 指令-夜間版
  • 嵌入式-英語-v2.0
  • 嵌入-多語系-v2.0
  • embed-english-light-v2.0
  • 嵌入英文-v3.0
  • embed-english-light-v3.0
  • 嵌入-多語系-v3.0
  • embed-多語系-light-v3.0
Mosaic 人工智能模型服務 Databricks 提供服務端點 Databricks 提供服務端點 Databricks 提供服務端點
亞馬遜基岩 人類：
  • claude-instant-v1
  • claude-v2

Cohere：
  • 指令文本-v14
  • 命令-光文本-v14

AI21 Labs：
  • j2-grande-instruct
  • j2-jumbo-instruct
  • j2-mid
  • j2-mid-v1
  • j2-ultra
  • j2-ultra-v1
 人類：
  • claude-3-5-sonnet-20241022-v2：0
  • claude-3-5-haiku-20241022-v1：0
  • claude-3-opus-20240229-v1：0
  • claude-3-sonnet-20240229-v1：0
  • claude-3-5-sonnet-20240620-v1：0

Cohere：
  • command-r-plus-v1：0
  • command-r-v1-0

亞馬遜河：
  • nova-lite-v1：0
  • nova-micro-v1：0
  • nova-pro-v1：0
 亞馬遜河：
  • titan-embed-text-v2：0
  • titan-embed-text-v1
  • titan-embed-g1-text-02

Cohere：
  • 嵌入英語-v3
  • embed-多語系-v3
AI21 實驗室†
  • j2-mid
  • j2-light
  • j2-ultra
Google Cloud 頂點 AI text-bison
  • 查特·拜森
  • gemini-pro
  • gemini-1.0-pro
  • gemini-1.5-pro
  • 雙子座-1.5-Flash
  • Gemini-2.0-flash
  • text-embedding-004
  • text-embedding-005
  • textembedding-gecko (文字嵌入-壁虎)

** 模型提供者支援經過微調的完成模型和聊天模型。 若要查詢微調的模型，請在 name 組態的 external model 字段中填入您的微調模型名稱。

† 模型提供者支援自定義完成模型。

建立服務端點的基礎模型

若要在 AI 應用程式中查詢和使用基礎模型，您必須先建立服務端點的模型。 模型服務會使用統一的 API 和 UI 來建立和更新服務端點的基礎模型。

提供端點的查詢基礎模型

建立服務端點之後，您就可以查詢基礎模型。 模型服務會使用統一的 OpenAI 相容 API 和 SDK 來查詢基礎模型。 此整合體驗可簡化您在支援雲端和提供者之間實驗和自定義生產基礎模型的方式。

請參閱 使用基礎模型。

  • Last updated on