Note
此信息适用于 Databricks CLI 版本 0.205 及更高版本。 Databricks CLI 目前处于公共预览阶段。
Databricks CLI 的使用须遵守 Databricks 许可和 Databricks 隐私声明,包括任何数据使用规定。
serving-endpoints
CLI 中的命令组允许创建、更新和删除服务终结点的模型。 请参阅管理模型服务的端点。
databricks 模型服务端点 构建日志
检索与所提供的服务模型关联的生成日志。
databricks serving-endpoints build-logs NAME SERVED_MODEL_NAME [flags]
Arguments
NAME
服务模型所属的服务终结点的名称。 此字段为必需字段。
SERVED_MODEL_NAME
将为其检索构建日志的已部署模型的名称。 此字段为必需字段。
选项
databricks 服务终结点创建
创建新的服务终结点。
databricks serving-endpoints create NAME [flags]
Arguments
NAME
服务终结点的名称。 此字段是必需的,并且必须在 Databricks 工作区中是唯一的。 终结点名称可以包含字母数字字符、短划线和下划线。
选项
--budget-policy-id string
要应用于服务端点的预算策略。
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
--no-wait
不等待达到 NOT_UPDATING 状态
--route-optimized
为服务终结点启用路由优化。
--timeout duration
达到NOT_UPDATING状态的最大时间(默认为 20m0s)
databricks service-endpoints create-provisioned-throughput-endpoint
创建新的预配吞吐量服务终结点。
databricks serving-endpoints create-provisioned-throughput-endpoint [flags]
选项
--budget-policy-id string
与终结点关联的预算策略。
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
--no-wait
不要等待达到NOT_UPDATING状态。
--timeout duration
达到NOT_UPDATING状态的最大时间(默认为 20m0)。
Examples
以下示例创建预配的吞吐量终结点:
databricks serving-endpoints create-provisioned-throughput-endpoint --json @endpoint-config.json
databricks 服务终结点删除
删除服务终结点。
databricks serving-endpoints delete NAME [flags]
Arguments
NAME
要删除的服务终结点的名称。
选项
databricks 服务终结点导出指标
使用 Prometheus 或 OpenMetrics 解释格式检索与提供的服务终结点关联的指标。
databricks serving-endpoints export-metrics NAME [flags]
Arguments
NAME
用于检索指标的服务终结点名称。 此字段为必需字段。
选项
databricks 服务终结点获取
检索单个服务终结点的详细信息。
databricks serving-endpoints get NAME [flags]
Arguments
NAME
服务终结点的名称。 此字段为必需字段。
选项
databricks 服务端点 get-open-api
获取服务终结点的查询架构,格式为 OpenAPI。 该架构包含支持的路径、输入和输出格式和数据类型的信息。
databricks serving-endpoints get-open-api NAME [flags]
Arguments
NAME
服务模型所属的服务终结点的名称。 此字段为必需字段。
选项
databricks 服务端点列表
获取所有服务终结点。
databricks serving-endpoints list [flags]
Arguments
None
选项
databricks 服务端点日志
检索与所提供的服务模型关联的服务日志。
databricks serving-endpoints logs NAME SERVED_MODEL_NAME [flags]
Arguments
NAME
服务模型所属的服务终结点的名称。 此字段为必需字段。
SERVED_MODEL_NAME
将为其检索日志的已部署模型的名称。 此字段为必需字段。
选项
databricks 服务端点补丁
添加或删除服务终结点的标记。
databricks serving-endpoints patch NAME [flags]
Arguments
NAME
要修补其标签的服务终结点的名称。 此字段为必需字段。
选项
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
databricks 服务终结点设置
警告
Deprecated. 改用 AI 网关来管理速率限制。
服务终结点的更新速率限制。
databricks serving-endpoints put NAME [flags]
Arguments
NAME
要更新其速率限制的服务终结点的名称。 此字段为必需字段。
选项
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
databricks 服务端点 put-ai-gateway
更新用于服务端点的 AI 网关。 完全支持外部模型、预配吞吐量和按令牌付费终结点;代理终结点目前仅支持推理表。
databricks serving-endpoints put-ai-gateway NAME [flags]
Arguments
NAME
要更新其 AI 网关的服务终结点的名称。 此字段为必需字段。
选项
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
databricks 服务端点查询
查询服务端点。
databricks serving-endpoints query NAME [flags]
Arguments
NAME
服务终结点的名称。 此字段为必需字段。
选项
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
--max-tokens int
仅用于 完成操作 和 外部聊天及基础模型 服务端点的最大令牌字段。
--n int
n(候选项数)字段仅用于 补全任务 和 聊天外部及基础模型业务终端。
--stream
流字段仅用于 完成 和 聊天外部和基础模型 服务终结点。
--temperature float
仅用于 完成 和 聊天外部和基础模型 服务终结点的温度字段。
databricks 服务端点更新配置
更新服务终结点的服务实体、这些服务实体的计算配置和终结点的流量配置的任何组合。在当前更新完成或失败之前,无法更新已有更新的终结点。
databricks serving-endpoints update-config NAME [flags]
Arguments
NAME
要更新的服务终结点的名称。 此字段为必需字段。
选项
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
--no-wait
不等待达到 NOT_UPDATING 状态
--timeout duration
达到NOT_UPDATING状态的最大时间(默认为 20m0s)
databricks service-endpoints update-notifications
更新服务终结点的电子邮件和 Webhook 通知设置。
databricks serving-endpoints update-notifications NAME [flags]
Arguments
NAME
正在更新其通知的服务终结点的名称。
选项
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
Examples
以下示例更新终结点的通知设置:
databricks serving-endpoints update-notifications my-endpoint --json '{"email_notifications": {"on_failure": ["user@example.com"]}}'
databricks service-endpoints update-provisioned-throughput-endpoint-config
更新预配的吞吐量服务终结点的配置。 更新是即时的。
databricks serving-endpoints update-provisioned-throughput-endpoint-config NAME [flags]
Arguments
NAME
要更新的预配吞吐量终结点的名称。
选项
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
--no-wait
不要等待达到NOT_UPDATING状态。
--timeout duration
达到NOT_UPDATING状态的最大时间(默认为 20m0)。
Examples
以下示例更新预配的吞吐量终结点的配置:
databricks serving-endpoints update-provisioned-throughput-endpoint-config my-pt-endpoint --json @updated-config.json
databricks 服务终结点 get-permission-levels
获取服务端点权限级别。
databricks serving-endpoints get-permission-levels SERVING_ENDPOINT_ID [flags]
Arguments
SERVING_ENDPOINT_ID
要获取或管理权限的服务终结点。
选项
databricks 服务端点 获取权限
获取服务终结点权限。
获取服务端点的权限。 服务终结点可以从其根对象继承权限。
databricks serving-endpoints get-permissions SERVING_ENDPOINT_ID [flags]
Arguments
SERVING_ENDPOINT_ID
要获取或管理权限的服务终结点。
选项
databricks service-endpoints set-permissions
设置服务终结点权限。
databricks serving-endpoints set-permissions SERVING_ENDPOINT_ID [flags]
Arguments
SERVING_ENDPOINT_ID
要获取或管理权限的服务终结点。
选项
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
databricks 服务端点更新权限
更新服务终结点的权限。 服务终结点可以从其根对象继承权限。
databricks serving-endpoints update-permissions SERVING_ENDPOINT_ID [flags]
Arguments
SERVING_ENDPOINT_ID
要获取或管理权限的服务终结点。
选项
--json JSON
包含请求正文的内联 JSON 字符串或 @path 到 JSON 文件。
全局标志
--debug
是否启用调试日志记录。
-h 或 --help
显示 Databricks CLI、相关命令组或相关命令的帮助。
--log-file 字符串
一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。
--log-format 格式
日志格式类型,text 或 json。 默认值是 text。
--log-level 字符串
一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。
-o, --output 类型
命令输出类型为text或json。 默认值是 text。
-p, --profile 字符串
~/.databrickscfg 文件中用于运行命令的配置文件的名称。 如果未指定此标志,则如果存在,将使用名为 DEFAULT 的配置文件。
--progress-format 格式
显示进度日志的格式: default、 append、 inplace或 json
-t, --target 字符串
如适用,要使用的捆绑包目标