通过

Mosaic AI Model Serving 上支持的基础模型

本文介绍了可以使用 Mosaic AI Model Serving 服务的基础模型。

基础模型是大型、预先训练的神经网络，这些神经网络在大型和广泛的数据上进行训练。 这些模型旨在了解语言、图像或其他数据类型的常规模式，并可以针对具有其他训练的特定任务进行微调。 使用某些基础模型受模型开发人员许可证和可接受的使用策略的约束。 请参阅 适用的模型开发人员许可证和条款。

模型服务提供灵活的选项，用于根据需求托管和查询基础模型：

  • AI Functions 优化模型：Databricks 托管的模型中有一部分专为 AI Functions 优化。 可以使用这些函数及其支持的模型将 AI 应用到数据并大规模运行批量推理生产工作负荷。
  • 按令牌付费：非常适合试验和快速探索。 此选项允许在 Databricks 工作区中查询预配置的终结点，而无需预先做出基础结构承诺。
  • 预配的吞吐量：建议用于需要性能保证的生产用例。 此选项允许使用优化的服务终结点部署微调的基础模型。
  • 外部模型：此选项允许访问 Databricks 外部托管的基础模型，例如 OpenAI 或 Anthropic 提供的基础模型。 可以在 Databricks 中集中管理这些模型，以便简化治理。

Databricks 上托管的基础模型

Databricks 托管最先进的开放基础模型，如 Meta Llama。 这些模型是使用 基础模型 API 提供的。

下表总结了在每个区域中基于模型服务功能支持的 Databricks 托管模型和模型系列。

重要说明

  • Meta Llama 4 Maverick 适用于 公共预览版中基础模型 API 预配的吞吐量工作负荷。

  • 从 2024 年 12 月 11 日起，Meta-Llama-3.3-70B-Instruct 将在 Foundation Model APIs 的按令牌付费终结点中替代对 Meta-Llama-3.1-70B-Instruct 的支持。

  • Meta-Llama-3.1-405B-Instruct 是由 Meta 构建和训练的最大、最先进的公开可用的大型语言模型，通过 AzureML 模型目录使用 Azure 机器学习进行分发。

  • 以下模型现已停用。 有关推荐的替换模型，请参阅 停用的模型。

    • Mixtral-8x7B 说明书
    • DBRX
    • Llama 2 70B 聊天
    • MPT 7B 指示
    • MPT 30B 指示
区域 AI 函数优化模型 基础模型 API（按令牌付费） 基础模型 API（预配吞吐量）
australiacentral 不支持 不支持 不支持
australiacentral2 不支持 不支持 不支持
australiaeast 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行者（预览版）*
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
australiasoutheast 不支持 不支持 不支持
brazilsouth 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行* (预览版)
  • Meta Llama 3.3*
  • Meta Llama 3.2 3B*
  • Meta Llama 3.2 1B*
  • Meta Llama 3.1*
  • GTE v1.5 （英语）*
  • BGE v1.5 （英语）*
  • DeepSeek R1 （Unity 目录中不可用）*

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2*
  • DBRX*
  • Mistral*
  • Mixtral*
  • 邮电部*
canadacentral 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行* (预览版)
  • Meta Llama 3.3*
  • Meta Llama 3.2 3B*
  • Meta Llama 3.2 1B*
  • Meta Llama 3.1*
  • GTE v1.5 （英语）*
  • BGE v1.5 （英语）*
  • DeepSeek R1 （Unity 目录中不可用）*

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2*
  • DBRX*
  • Mistral*
  • Mixtral*
  • 邮电部*
canadaeast 不支持 不支持 不支持
centralindia 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行* (预览版)
  • Meta Llama 3.3*
  • Meta Llama 3.2 3B*
  • Meta Llama 3.2 1B*
  • Meta Llama 3.1*
  • GTE v1.5 （英语）*
  • BGE v1.5 （英语）*
  • DeepSeek R1 （Unity 目录中不可用）*

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2*
  • DBRX*
  • Mistral*
  • Mixtral*
  • 邮电部*
centralus 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
chinaeast2 不支持 不支持 不支持
chinaeast3 不支持 不支持 不支持
chinanorth2 不支持 不支持 不支持
chinanorth3 不支持 不支持 不支持
eastasia 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行* (预览版)
  • Meta Llama 3.3*
  • Meta Llama 3.2 3B*
  • Meta Llama 3.2 1B*
  • Meta Llama 3.1*
  • GTE v1.5 （英语）*
  • BGE v1.5 （英语）*
  • DeepSeek R1 （Unity 目录中不可用）*

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2*
  • DBRX*
  • Mistral*
  • Mixtral*
  • 邮电部*
eastus 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
eastus2 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
francecentral 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
germanywestcentral 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
japaneast 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行* (预览版)
  • Meta Llama 3.3*
  • Meta Llama 3.2 3B*
  • Meta Llama 3.2 1B*
  • Meta Llama 3.1*
  • GTE v1.5 （英语）*
  • BGE v1.5 （英语）*
  • DeepSeek R1* （Unity 目录中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2*
  • DBRX*
  • Mistral*
  • Mixtral*
  • 邮电部*
japanwest 不支持 不支持 不支持
koreacentral 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行者*
  • Meta Llama 3.3*
  • Meta Llama 3.2 3B*
  • Meta Llama 3.2 1B*
  • Meta Llama 3.1*
  • DeepSeek R1* （Unity 目录中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2*
  • DBRX*
  • Mistral*
  • Mixtral*
  • 邮电部*
mexicocentral 不支持 不支持 不支持
northcentralus 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
northeurope 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
norwayeast 不支持 不支持 不支持
qatarcentral 不支持 不支持 不支持
southafricanorth 不支持 不支持 不支持
southcentralus 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
southeastasia 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行* (预览版)
  • Meta Llama 3.3*
  • Meta Llama 3.2 3B*
  • Meta Llama 3.2 1B*
  • Meta Llama 3.1*
  • GTE v1.5 （英语）*
  • BGE v1.5 （英语）*
  • DeepSeek R1 （在 Unity 目录中的 system.ai 中不可用）*

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
southindia 不支持 不支持 不支持
swedencentral 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
switzerlandnorth 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
switzerlandwest 不支持 不支持 不支持
uaenorth 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行* (预览版)
  • Meta Llama 3.3*
  • Meta Llama 3.2 3B*
  • Meta Llama 3.2 1B*
  • Meta Llama 3.1*
  • GTE v1.5 （英语）*
  • BGE v1.5 （英语）*
  • DeepSeek R1* （Unity 目录中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2*
  • DBRX*
  • Mistral*
  • Mixtral*
  • 邮电部*
uksouth 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 特立独行* (预览版)
  • Meta Llama 3.3*
  • Meta Llama 3.2 3B*
  • Meta Llama 3.2 1B*
  • Meta Llama 3.1*
  • GTE v1.5 （英语）*
  • BGE v1.5 （英语）*
  • DeepSeek R1* （Unity 目录中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2*
  • DBRX*
  • Mistral*
  • Mixtral*
  • 邮电部*
ukwest 不支持 不支持 不支持
westcentralus 不支持 不支持 不支持
westeurope 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
westindia 不支持 不支持 不支持
westus 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
westus2 支持以下模型：
 支持以下模型：
 支持以下模型系列：
  • Meta Llama 4 Maverick（预览版）
  • Meta Llama 3.3
  • 元 Llama 3.2 3B
  • 元 Llama 3.2 1B
  • Meta Llama 3.1
  • GTE v1.5 （英语）
  • BGE v1.5 （英语）
  • DeepSeek R1（在 Unity Catalog 中不可用）

支持的遗留模型系列：
  • Meta Llama 3
  • Meta Llama 2
  • DBRX
  • 米斯特拉尔
  • Mixtral
  • 邮电部
westus3 不支持 不支持 不支持

* 基于 GPU 可用性支持此模型，需要 启用跨地域路由。

访问 Databricks 外部托管的基础模型

在 Databricks 上也可以使用外部模型访问 LLM 提供商（如 OpenAI 和 Anthropic）创建的基础模型。 这些模型托管在 Databricks 外部，你可以创建一个终结点来查询它们。 可以从 Azure Databricks 集中管理这些终结点，从而简化组织中各种 LLM 提供程序的使用和管理。

下表提供了一个包含支持的模型和相应端点类型的非详尽列表 。 可以使用列出的模型关联来帮助你为任何新发布的模型类型配置终结点，前提是这些模型在给定的提供商处可用。 客户有责任确保遵循适用的模型许可证。

注释

随着 LLM 的快速发展，不能保证此列表随时处于最新状态。 通常支持来自同一提供程序的新模型版本，即使它们不在列表中也是如此。

模型提供商 llm/v1/补全 llm/v1/chat llm/v1/嵌入
OpenAI**
  • gpt-3.5-turbo-instruct
  • babbage-002
  • davinci-002
  • o1
  • o1-mini
  • o1-mini-2024-09-12
  • gpt-3.5-turbo
  • gpt-4
  • gpt-4-turbo
  • gpt-4-turbo-2024-04
  • gpt-4o
  • gpt-4o-2024-05-13
  • gpt-4o-mini
  • text-embedding-ada-002
  • 文本嵌入-3-large
  • 文本嵌入-3-小型
Azure OpenAI**
  • text-davinci-003
  • gpt-35-turbo-instruct
  • o1
  • o1-mini
  • gpt-35-turbo
  • gpt-35-turbo-16k
  • gpt-4
  • gpt-4-turbo
  • gpt-4-32k
  • gpt-4o
  • gpt-4o-mini
  • text-embedding-ada-002
  • 文本嵌入-3-large
  • 文本嵌入-3-小型
人类
  • claude-1
  • claude-1.3-100k
  • claude-2
  • claude-2.1
  • claude-2.0
  • claude-instant-1.2
  • claude-3-5-sonnet-latest
  • claude-3-5-俳句-最新
  • claude-3-5-opus-latest
  • claude-3-5-sonnet-20241022
  • claude-3-5-haiku-20241022
  • claude-3-5-sonnet-20240620
  • claude-3-haiku-20240307
  • claude-3-opus-20240229
  • claude-3-sonnet-20240229
Cohere**
  • 指令
  • 命令指示灯
  • command-r7b-12-2024
  • command-r-plus-08-2024
  • command-r-08-2024
  • Command-R-Plus
  • 命令键+R
  • 指令
  • 命令-灯光-每夜
  • 命令指示灯
  • 对于软件或工具中常见的概念，"command-nightly"可以保持不翻译。如果需要解释，建议翻译为"命令-每夜"，以涵盖其原意。
  • embed-english-v2.0（嵌入式英语-v2.0）
  • embed-多语言-v2.0
  • embed-english-light-v2.0
  • embed-english-v3.0
  • embed-english-light-v3.0（嵌入式英语-轻量版3.0）
  • embed-多语言-v3.0
  • embed-多语言-light-v3.0
Mosaic AI 模型服务 Databricks 服务终结点 Databricks 服务终结点 Databricks 服务终结点
Amazon Bedrock Anthropic：
  • claude-instant-v1
  • claude-v2

Cohere：
  • command-text-v14
  • command-light-text-v14

AI21 实验室：
  • j2-grande-instruct
  • j2-jumbo-instruct
  • j2-mid
  • j2-mid-v1
  • j2-ultra
  • j2-ultra-v1
 Anthropic：
  • claude-3-5-sonnet-20241022-v2：0
  • claude-3-5-haiku-20241022-v1：0
  • claude-3-opus-20240229-v1：0
  • claude-3-sonnet-20240229-v1：0
  • claude-3-5-sonnet-20240620-v1：0

Cohere：
  • command-r-plus-v1：0
  • command-r-v1：0

亚马逊河：
  • nova-lite-v1：0
  • nova-micro-v1：0
  • nova-pro-v1：0
 亚马逊河：
  • titan-embed-text-v2：0
  • titan-embed-text-v1
  • titan-embed-g1-text-02

Cohere：
  • embed-english-v3
  • embed-多语言-v3
AI21 实验室†
  • j2-mid
  • j2-轻量
  • j2-ultra
Google Cloud 顶点 AI text-bison
  • chat-bison
  • gemini-pro
  • gemini-1.0-pro
  • gemini-1.5-pro
  • gemini-1.5-flash
  • gemini-2.0-flash
  • text-embedding-004
  • text-embedding-005
  • 文本嵌入-壁虎

** 模型提供商支持经过微调的补全和聊天模型。 若要查询微调的模型，请使用优化模型的名称填充 name 配置的 external model 字段。

†模型提供商支持自定义补全模型。

创建基础模型服务终结点

若要在 AI 应用程序中查询和使用基础模型，必须先创建提供终结点的模型。 模型服务使用统一的 API 和 UI 来创建和更新基础模型服务终结点。

查询基础模型服务终结点

创建服务终结点后，可以查询基础模型。 模型服务使用与 OpenAI 兼容的统一 API 和 SDK 来查询基础模型。 这种统一体验简化了跨受支持云和提供商进行试验和自定义生产的基础模型的方式。

请参阅使用基础模型。