Important
此功能目前以公共预览版提供。
air
Databricks CLI 中的命令组通过 AI 运行时提交和管理 GPU 工作负载,如训练和推理。
关于工作负载配置字段,请参见 工作负载 YAML 参考文献。 要提交你的第一个工作负载,请参见 Databricks的AI运行时CLI快速入门。
Databricks Air Run
提交 YAML 配置中的工作负载。 输出包括作业运行ID和作业运行URL。
databricks air run --file YAML_PATH [flags]
Arguments
None
选项
-f, --file string
工作负载YAML配置的路径。 此选项为必选选项。
--watch
流节点0会记录直到运行达到终端状态。 默认值:false。
--override stringArray
用 FIELD_PATH=VALUE. 覆盖 YAML 字段。 重复这个选项以覆盖多个字段。
--dry-run
验证配置,无需提交工作负载。 默认值:false。
--idempotency-key string
在之前使用过的密钥时,还原已有的序列。 在YAML中进行 idempotency_token 覆盖。 最多:64个字符。
Examples
以下示例提交来自的 train.yaml工作负载:
databricks air run --file train.yaml
将配置路径作为单独参数传递以 -h 显示工作负载配置帮助:
databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type
Databricks air get
获取跑步详情。
databricks air get JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
作业运行ID由 databricks air run返回。
选项
Databricks 空军列表
列出运行。 默认情况下,命令会列出当前用户提交的活跃运行。
databricks air list [flags]
Arguments
None
选项
--limit int
最多可展示的分数。 默认值:20。
--all-status
包括终末状态下的运行。 默认值:false。
--all-users
包括其他用户提交的作品。 默认值:false。
--filter stringArray
滤波器运行于 KEY=VALUE。 重复这个选项,要求多个条件。 支持的密钥有 accelerator_type、 experiment、 num_accelerators和 user。
Databricks 空中日志
运行时可以流播或取日志。
databricks air logs JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
作业运行ID由 databricks air run返回。
选项
--node int
选择一个基于零的节点索引。 默认值:0。
--tail int
现有的日志行数。 默认值:10000。
--minutes int
取出最近几分钟的日志。 不能与 --tail.. 默认值:0。
--retry int
选择重试尝试。
0 是最初的尝试,也是 -1 最新的。 默认值:-1。
--download-to string
下载完整日志到目录。 除非 --node 设置,否则会下载所有节点。 不能与 --tail 或 --minutes.
Databricks 空气取消
通过作业运行ID取消一个或多个运行,或取消当前用户提交的所有活跃运行。
databricks air cancel [JOB_RUN_ID...] [flags]
Arguments
JOB_RUN_ID
一个或多个工作运行的ID。 不能与 --all..
选项
--all
取消当前用户提交的所有活跃运行。 默认值:false。
-y, --yes
跳过由 .--all 默认值:false。
Databricks 空中池列表
列出当前工作区可用的已配置GPU容量。
使用配置好的容量ID 。compute.pool_id
databricks air pools list [flags]
Arguments
None
选项
Databricks Air Pools
获取配置GPU容量的详细信息。
databricks air pools get [POOL_ID] [flags]
Arguments
POOL_ID
配置容量ID。 只有当工作区恰好有一个配置容量时,该论证才是可选的。
选项
Databricks Air Images 推送
将容器镜像推送到Artifact Registry。
关于推送映像的前提条件和说明,请参见 Push images with the Databricks CLI。
databricks air images push [flags]
Arguments
None
选项
-s, --source string
源容器镜像作为名称,带有可选标签()NAME[:TAG]或摘要(NAME@DIGEST)。 如果在交互式终端中省略,命令会提示该值。
--catalog string
目的地 Unity 目录。 如果在交互式终端中省略,命令会提示该值。
--schema string
目标 Unity 目录模式。 如果在交互式终端中省略,命令会提示该值。
--artifact string
目的伪物为 ARTIFACT[:TAG]。 默认使用源图片名称和标签,或者 latest 当源没有标签时使用标签。
--pull
推送前从注册表拉取源镜像,而不是重复使用可用的本地镜像。 默认值:false。
Databricks Air 转换成 DAB
将工作负载的YAML配置转换为Databricks资产捆绑包。 这个本地命令在 databricks.ymlgenerated_artifacts/.
该命令是连接高级生产工作流程的一个可选桥梁。 你可以继续使用 databricks air run 而不进行配置转换。
关于捆绑工作流,请参见 “调度GPU工作负载”和“组合任务”。
databricks air convert-to-dabs YAML_PATH [flags]
Arguments
YAML_PATH
通往工作负载YAML配置的路径。
选项
--output-dir string
目录中命令写入该捆绑包。 代码源必须在这个目录里。 默认:包含输入 YAML 文件的目录。
--force
覆盖已存在的已生成的捆绑包文件。 默认值:false。
全局标志
--debug
是否启用调试日志记录。
-h 或 --help
显示 Databricks CLI、相关命令组或相关命令的帮助。
--log-file 字符串
一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。
--log-format 格式
日志格式类型,text 或 json。 默认值为 text。
--log-level 字符串
一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。
-o, --output 类型
命令输出类型为 text 或 json。 默认值为 text。
-p, --profile 字符串
要用于运行命令的 ~/.databrickscfg 文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT 的配置文件,则使用该配置文件。
--progress-format 格式
显示进度日志的格式: default、 append、 inplace或 json
-t, --target 字符串
如果适用,要使用的捆绑包目标
从遗留的 Python CLI 迁移
Databricks 的 CLI 和已弃用的基于 air Python 的 CLI 使用不同的命令名称和标志。 使用以下映射更新脚本:
| Python CLI | Databricks 命令行界面 (CLI) |
|---|---|
air run -f train.yaml |
databricks air run -f train.yaml |
air run -f train.yaml --override A=X B=Y |
databricks air run -f train.yaml --override A=X --override B=Y |
air get run <run-id> |
databricks air get <run-id> |
air list runs |
databricks air list --all-status |
air list runs --active |
databricks air list |
air -h config |
databricks air run -h config |
air logs <run-id> |
databricks air logs <run-id> |
air cancel <run-id> |
databricks air cancel <run-id> |