air
Databricks CLI 中的命令组通过 AI 运行时提交和管理 GPU 工作负载,如训练和推理。
关于工作负载配置字段,请参见 工作负载 YAML 参考文献。 要提交你的第一个工作负载,请参见 AI 运行时快速启动。
Databricks Air Run
提交 YAML 配置中的工作负载。 输出包括作业运行ID和作业运行URL。
databricks air run --file YAML_PATH [flags]
Arguments
None
选项
-f, --file string
工作负载YAML配置的路径。 此选项为必选选项。
--watch
从第一个节点(节点0)开始流式日志,直到运行达到终端状态。 默认值:false。
--override stringArray
用 FIELD_PATH=VALUE. 覆盖 YAML 字段。 重复这个选项以覆盖多个字段。
--dry-run
验证配置,无需提交工作负载。 默认值:false。
--idempotency-key string
在之前使用过的密钥时,还原已有的序列。 在YAML中进行 idempotency_token 覆盖。 最多:64个字符。
Examples
以下示例从第一个节点(节点0)提交工作负载 train.yaml 并流式传输日志,直到运行结束:
databricks air run --file train.yaml --watch
要在后台提交,请省略 --watch。 命令在服从后返回。 使用返回的作业运行ID来检查状态和流日志:
databricks air get <job-run-id>
databricks air logs <job-run-id>
提交、状态和日志都使用同一个工作区配置文件。 请参见 Databricks CLI 的配置配置文件。
将配置路径作为单独参数传递以 -h 显示工作负载配置帮助:
databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type
Databricks air get
获取跑步详情。
databricks air get JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
作业运行ID由 databricks air run返回。
选项
Databricks 空军列表
列出运行。 默认情况下,命令会列出当前用户提交的活跃运行。
databricks air list [flags]
Arguments
None
选项
--limit int
最多可展示的分数。 默认值:20。
--all-status
包括终末状态下的运行。 默认值:false。
--all-users
包括其他用户提交的作品。 默认值:false。
--filter stringArray
滤波器运行于 KEY=VALUE。 重复这个选项以添加条件。 一轮必须符合所有条件。 参见 筛选键。
滤波器键
每个 --filter 选项都有一个 KEY=VALUE 条件。
= 是唯一的算符。 你无法否定某个病症,无法比较范围,也不能将病症与手术室合并。
| Key | 匹配 | Example |
|---|---|---|
accelerator_type |
加速器族,如或A10H100,或工作负载YAML的全accelerator_type值,如GPU_8xH100。 姓氏不区分大小写。 |
accelerator_type=H100 |
experiment |
相比整个实验名称,这只是团块状的图案。 匹配不区分大小写。
* 匹配任意字符序列, ? 匹配一个字符,匹配 [abc] 集合中的一个字符。 不支持正则表达式。 没有万用符的值只匹配一个恰好该名称的实验。 |
'experiment=qwen*' |
num_accelerators |
运行时GPU总数。 该值必须是正整数,并且必须完全匹配。 | num_accelerators=8 |
user |
提交该任务的用户名。 价值必须完全匹配。 这个密钥取代了默认限制,只能限制你自己的跑法,所以你不需要 --all-users。 |
user=person@example.com |
关于支持的 accelerator_type 值,请参见 加速器类型。
过滤器可以缩小命令已经列出的运行范围。 没有 --all-status,只有主动顺子可以匹配。
在包含 *、 或 ?的 [ 条件周围加上单引号,使你的 shell 将模式传递给 CLI 保持不变。
如果条件不在 KEY=VALUE 表中、使用了不在表中的键,或值为空或无效,命令会返回错误。
Examples
以下示例列出了你正在运行的使用H100加速器的运行:
databricks air list --filter accelerator_type=H100
以下示例列出了实验名称以 开qwen头且共使用八个 GPU 的提交状态person@example.com下的运行:
databricks air list --all-status \
--filter 'experiment=qwen*' \
--filter num_accelerators=8 \
--filter user=person@example.com
Databricks 空中日志
运行时可以流播或取日志。
databricks air logs JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
作业运行ID由 databricks air run返回。
选项
--node int
选择一个基于零的节点索引。 默认值:0。
--tail int
现有的日志行数。 默认值:10000。
--minutes int
取出最近几分钟的日志。 不能与 --tail.. 默认值:0。
--retry int
选择重试尝试。
0 是最初的尝试,也是 -1 最新的。 默认值:-1。
--download-to string
下载完整日志到目录。 除非 --node 设置,否则会下载所有节点。 不能与 --tail 或 --minutes.
Databricks 空气取消
通过作业运行ID取消一个或多个运行,或取消当前用户提交的所有活跃运行。
databricks air cancel [JOB_RUN_ID...] [flags]
Arguments
JOB_RUN_ID
一个或多个工作运行的ID。 不能与 --all..
选项
--all
取消当前用户提交的所有活跃运行。 默认值:false。
-y, --yes
跳过由 .--all 默认值:false。
Databricks Air Images 推送
将容器镜像推送到Artifact Registry。
关于推送映像的前提条件和说明,请参见 Push images with the Databricks CLI。
databricks air images push [flags]
Arguments
None
选项
-s, --source string
源容器镜像作为名称,带有可选标签()NAME[:TAG]或摘要(NAME@DIGEST)。 如果在交互式终端中省略,命令会提示该值。
--catalog string
目的地 Unity 目录。 如果在交互式终端中省略,命令会提示该值。
--schema string
目标 Unity 目录模式。 如果在交互式终端中省略,命令会提示该值。
--artifact string
目的伪物为 ARTIFACT[:TAG]。 默认使用源图片名称和标签,或者 latest 当源没有标签时使用标签。
--pull
推送前从注册表拉取源镜像,而不是重复使用可用的本地镜像。 默认值:false。
Databricks Air 转换成 DAB
将工作负载的YAML配置转换为Databricks资产捆绑包。 这个本地命令在 databricks.ymlgenerated_artifacts/.
该命令是连接高级生产工作流程的一个可选桥梁。 你可以继续使用 databricks air run 而不进行配置转换。
关于捆绑工作流,请参见 “调度GPU工作负载”和“组合任务”。
databricks air convert-to-dabs YAML_PATH [flags]
Arguments
YAML_PATH
通往工作负载YAML配置的路径。
选项
--output-dir string
目录中命令写入该捆绑包。 代码源必须在这个目录里。 默认:包含输入 YAML 文件的目录。
--force
覆盖已存在的已生成的捆绑包文件。 默认值:false。
全局标志
--debug
是否启用调试日志记录。
-h 或 --help
显示 Databricks CLI、相关命令组或相关命令的帮助。
--log-file 弦
一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。
--log-format 节目形式
日志格式类型,text 或 json。 默认值为 text。
--log-level 弦
一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。
-o, --output type
命令输出类型为 text 或 json。 默认值为 text。
-p, --profile 弦
要用于运行命令的 ~/.databrickscfg 文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT 的配置文件,则使用该配置文件。
--progress-format 节目形式
显示进度日志的格式: default、 append、 inplace或 json
-t, --target 弦
如果适用,要使用的捆绑包目标
从遗留的 Python CLI 迁移
Databricks 的 CLI 和已弃用的基于 air Python 的 CLI 使用不同的命令名称和标志。 使用以下映射更新脚本:
| Python CLI | Databricks 命令行界面 (CLI) |
|---|---|
air run -f train.yaml |
databricks air run -f train.yaml |
air run -f train.yaml --override A=X B=Y |
databricks air run -f train.yaml --override A=X --override B=Y |
air get run <run-id> |
databricks air get <run-id> |
air list runs |
databricks air list --all-status |
air list runs --active |
databricks air list |
air -h config |
databricks air run -h config |
air logs <run-id> |
databricks air logs <run-id> |
air cancel <run-id> |
databricks air cancel <run-id> |