air 指挥组

air Databricks CLI 中的命令组通过 AI 运行时提交和管理 GPU 工作负载,如训练和推理。

关于工作负载配置字段,请参见 工作负载 YAML 参考文献。 要提交你的第一个工作负载,请参见 AI 运行时快速启动。

Databricks Air Run

提交 YAML 配置中的工作负载。 输出包括作业运行ID和作业运行URL。

databricks air run --file YAML_PATH [flags]

Arguments

None

选项

-f, --file string

    工作负载YAML配置的路径。 此选项为必选选项。

--watch

    从第一个节点(节点0)开始流式日志,直到运行达到终端状态。 默认值:false。

--override stringArray

    用 FIELD_PATH=VALUE. 覆盖 YAML 字段。 重复这个选项以覆盖多个字段。

--dry-run

    验证配置,无需提交工作负载。 默认值:false。

--idempotency-key string

    在之前使用过的密钥时,还原已有的序列。 在YAML中进行 idempotency_token 覆盖。 最多:64个字符。

全球旗帜

Examples

以下示例从第一个节点(节点0)提交工作负载 train.yaml 并流式传输日志,直到运行结束:

databricks air run --file train.yaml --watch

要在后台提交,请省略 --watch。 命令在服从后返回。 使用返回的作业运行ID来检查状态和流日志:

databricks air get <job-run-id>
databricks air logs <job-run-id>

提交、状态和日志都使用同一个工作区配置文件。 请参见 Databricks CLI 的配置配置文件。

将配置路径作为单独参数传递以 -h 显示工作负载配置帮助:

databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type

Databricks air get

获取跑步详情。

databricks air get JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

    作业运行ID由 databricks air run返回。

选项

全球旗帜

Databricks 空军列表

列出运行。 默认情况下,命令会列出当前用户提交的活跃运行。

databricks air list [flags]

Arguments

None

选项

--limit int

    最多可展示的分数。 默认值:20。

--all-status

    包括终末状态下的运行。 默认值:false。

--all-users

    包括其他用户提交的作品。 默认值:false。

--filter stringArray

    滤波器运行于 KEY=VALUE。 重复这个选项以添加条件。 一轮必须符合所有条件。 参见 筛选键。

全球旗帜

滤波器键

每个 --filter 选项都有一个 KEY=VALUE 条件。 = 是唯一的算符。 你无法否定某个病症,无法比较范围,也不能将病症与手术室合并。

Key 匹配 Example
accelerator_type 加速器族,如或A10H100,或工作负载YAML的全accelerator_type值,如GPU_8xH100。 姓氏不区分大小写。 accelerator_type=H100
experiment 相比整个实验名称,这只是团块状的图案。 匹配不区分大小写。 * 匹配任意字符序列, ? 匹配一个字符,匹配 [abc] 集合中的一个字符。 不支持正则表达式。 没有万用符的值只匹配一个恰好该名称的实验。 'experiment=qwen*'
num_accelerators 运行时GPU总数。 该值必须是正整数,并且必须完全匹配。 num_accelerators=8
user 提交该任务的用户名。 价值必须完全匹配。 这个密钥取代了默认限制,只能限制你自己的跑法,所以你不需要 --all-users。 user=person@example.com

关于支持的 accelerator_type 值,请参见 加速器类型。

过滤器可以缩小命令已经列出的运行范围。 没有 --all-status,只有主动顺子可以匹配。

在包含 *、 或 ?的 [ 条件周围加上单引号,使你的 shell 将模式传递给 CLI 保持不变。

如果条件不在 KEY=VALUE 表中、使用了不在表中的键,或值为空或无效,命令会返回错误。

Examples

以下示例列出了你正在运行的使用H100加速器的运行:

databricks air list --filter accelerator_type=H100

以下示例列出了实验名称以 开qwen头且共使用八个 GPU 的提交状态person@example.com下的运行:

databricks air list --all-status \
  --filter 'experiment=qwen*' \
  --filter num_accelerators=8 \
  --filter user=person@example.com

Databricks 空中日志

运行时可以流播或取日志。

databricks air logs JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

    作业运行ID由 databricks air run返回。

选项

--node int

    选择一个基于零的节点索引。 默认值:0。

--tail int

    现有的日志行数。 默认值:10000。

--minutes int

    取出最近几分钟的日志。 不能与 --tail.. 默认值:0。

--retry int

    选择重试尝试。 0 是最初的尝试,也是 -1 最新的。 默认值:-1。

--download-to string

    下载完整日志到目录。 除非 --node 设置,否则会下载所有节点。 不能与 --tail 或 --minutes.

全球旗帜

Databricks 空气取消

通过作业运行ID取消一个或多个运行,或取消当前用户提交的所有活跃运行。

databricks air cancel [JOB_RUN_ID...] [flags]

Arguments

JOB_RUN_ID

    一个或多个工作运行的ID。 不能与 --all..

选项

--all

    取消当前用户提交的所有活跃运行。 默认值:false。

-y, --yes

    跳过由 .--all 默认值:false。

全球旗帜

Databricks Air Images 推送

将容器镜像推送到Artifact Registry。

关于推送映像的前提条件和说明,请参见 Push images with the Databricks CLI。

databricks air images push [flags]

Arguments

None

选项

-s, --source string

    源容器镜像作为名称,带有可选标签()NAME[:TAG]或摘要(NAME@DIGEST)。 如果在交互式终端中省略,命令会提示该值。

--catalog string

    目的地 Unity 目录。 如果在交互式终端中省略,命令会提示该值。

--schema string

    目标 Unity 目录模式。 如果在交互式终端中省略,命令会提示该值。

--artifact string

    目的伪物为 ARTIFACT[:TAG]。 默认使用源图片名称和标签,或者 latest 当源没有标签时使用标签。

--pull

    推送前从注册表拉取源镜像,而不是重复使用可用的本地镜像。 默认值:false。

全球旗帜

Databricks Air 转换成 DAB

将工作负载的YAML配置转换为Databricks资产捆绑包。 这个本地命令在 databricks.ymlgenerated_artifacts/.

该命令是连接高级生产工作流程的一个可选桥梁。 你可以继续使用 databricks air run 而不进行配置转换。

关于捆绑工作流,请参见 “调度GPU工作负载”和“组合任务”。

databricks air convert-to-dabs YAML_PATH [flags]

Arguments

YAML_PATH

    通往工作负载YAML配置的路径。

选项

--output-dir string

    目录中命令写入该捆绑包。 代码源必须在这个目录里。 默认:包含输入 YAML 文件的目录。

--force

    覆盖已存在的已生成的捆绑包文件。 默认值:false。

全球旗帜

全局标志

--debug

  是否启用调试日志记录。

-h 或 --help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 弦

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 节目形式

    日志格式类型,text 或 json。 默认值为 text。

--log-level 弦

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output type

    命令输出类型为 text 或 json。 默认值为 text。

-p, --profile 弦

    要用于运行命令的 ~/.databrickscfg 文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT 的配置文件,则使用该配置文件。

--progress-format 节目形式

    显示进度日志的格式: default、 append、 inplace或 json

-t, --target 弦

    如果适用,要使用的捆绑包目标

从遗留的 Python CLI 迁移

Databricks 的 CLI 和已弃用的基于 air Python 的 CLI 使用不同的命令名称和标志。 使用以下映射更新脚本:

Python CLI Databricks 命令行界面 (CLI)
air run -f train.yaml databricks air run -f train.yaml
air run -f train.yaml --override A=X B=Y databricks air run -f train.yaml --override A=X --override B=Y
air get run <run-id> databricks air get <run-id>
air list runs databricks air list --all-status
air list runs --active databricks air list
air -h config databricks air run -h config
air logs <run-id> databricks air logs <run-id>
air cancel <run-id> databricks air cancel <run-id>

其他资源