air 命令组

Important

此功能目前以公共预览版提供。

air Databricks CLI 中的命令组通过 AI 运行时提交和管理 GPU 工作负载,如训练和推理。

关于工作负载配置字段,请参见 工作负载 YAML 参考文献。 要提交你的第一个工作负载,请参见 Databricks的AI运行时CLI快速入门。

Databricks Air Run

提交 YAML 配置中的工作负载。 输出包括作业运行ID和作业运行URL。

databricks air run --file YAML_PATH [flags]

Arguments

None

选项

-f, --file string

    工作负载YAML配置的路径。 此选项为必选选项。

--watch

    流节点0会记录直到运行达到终端状态。 默认值:false。

--override stringArray

    用 FIELD_PATH=VALUE. 覆盖 YAML 字段。 重复这个选项以覆盖多个字段。

--dry-run

    验证配置,无需提交工作负载。 默认值:false。

--idempotency-key string

    在之前使用过的密钥时,还原已有的序列。 在YAML中进行 idempotency_token 覆盖。 最多:64个字符。

全局标志

Examples

以下示例提交来自的 train.yaml工作负载:

databricks air run --file train.yaml

将配置路径作为单独参数传递以 -h 显示工作负载配置帮助:

databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type

Databricks air get

获取跑步详情。

databricks air get JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

    作业运行ID由 databricks air run返回。

选项

全局标志

Databricks 空军列表

列出运行。 默认情况下,命令会列出当前用户提交的活跃运行。

databricks air list [flags]

Arguments

None

选项

--limit int

    最多可展示的分数。 默认值:20。

--all-status

    包括终末状态下的运行。 默认值:false。

--all-users

    包括其他用户提交的作品。 默认值:false。

--filter stringArray

    滤波器运行于 KEY=VALUE。 重复这个选项,要求多个条件。 支持的密钥有 accelerator_type、 experiment、 num_accelerators和 user。

全局标志

Databricks 空中日志

运行时可以流播或取日志。

databricks air logs JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

    作业运行ID由 databricks air run返回。

选项

--node int

    选择一个基于零的节点索引。 默认值:0。

--tail int

    现有的日志行数。 默认值:10000。

--minutes int

    取出最近几分钟的日志。 不能与 --tail.. 默认值:0。

--retry int

    选择重试尝试。 0 是最初的尝试,也是 -1 最新的。 默认值:-1。

--download-to string

    下载完整日志到目录。 除非 --node 设置,否则会下载所有节点。 不能与 --tail 或 --minutes.

全局标志

Databricks 空气取消

通过作业运行ID取消一个或多个运行,或取消当前用户提交的所有活跃运行。

databricks air cancel [JOB_RUN_ID...] [flags]

Arguments

JOB_RUN_ID

    一个或多个工作运行的ID。 不能与 --all..

选项

--all

    取消当前用户提交的所有活跃运行。 默认值:false。

-y, --yes

    跳过由 .--all 默认值:false。

全局标志

Databricks 空中池列表

列出当前工作区可用的已配置GPU容量。

使用配置好的容量ID 。compute.pool_id

databricks air pools list [flags]

Arguments

None

选项

全局标志

Databricks Air Pools

获取配置GPU容量的详细信息。

databricks air pools get [POOL_ID] [flags]

Arguments

POOL_ID

    配置容量ID。 只有当工作区恰好有一个配置容量时,该论证才是可选的。

选项

全局标志

Databricks Air Images 推送

将容器镜像推送到Artifact Registry。

关于推送映像的前提条件和说明,请参见 Push images with the Databricks CLI。

databricks air images push [flags]

Arguments

None

选项

-s, --source string

    源容器镜像作为名称,带有可选标签()NAME[:TAG]或摘要(NAME@DIGEST)。 如果在交互式终端中省略,命令会提示该值。

--catalog string

    目的地 Unity 目录。 如果在交互式终端中省略,命令会提示该值。

--schema string

    目标 Unity 目录模式。 如果在交互式终端中省略,命令会提示该值。

--artifact string

    目的伪物为 ARTIFACT[:TAG]。 默认使用源图片名称和标签,或者 latest 当源没有标签时使用标签。

--pull

    推送前从注册表拉取源镜像,而不是重复使用可用的本地镜像。 默认值:false。

全局标志

Databricks Air 转换成 DAB

将工作负载的YAML配置转换为Databricks资产捆绑包。 这个本地命令在 databricks.ymlgenerated_artifacts/.

该命令是连接高级生产工作流程的一个可选桥梁。 你可以继续使用 databricks air run 而不进行配置转换。

关于捆绑工作流,请参见 “调度GPU工作负载”和“组合任务”。

databricks air convert-to-dabs YAML_PATH [flags]

Arguments

YAML_PATH

    通往工作负载YAML配置的路径。

选项

--output-dir string

    目录中命令写入该捆绑包。 代码源必须在这个目录里。 默认:包含输入 YAML 文件的目录。

--force

    覆盖已存在的已生成的捆绑包文件。 默认值:false。

全局标志

全局标志

--debug

  是否启用调试日志记录。

-h 或 --help

    显示 Databricks CLI、相关命令组或相关命令的帮助。

--log-file 字符串

    一个字符串,表示要将输出日志写入到的文件。 如果未指定此标志,则默认会将输出日志写入到 stderr。

--log-format 格式

    日志格式类型,text 或 json。 默认值为 text。

--log-level 字符串

    一个表示日志格式级别的字符串。 如果未指定,则禁用日志格式级别。

-o, --output 类型

    命令输出类型为 text 或 json。 默认值为 text。

-p, --profile 字符串

    要用于运行命令的 ~/.databrickscfg 文件中的配置文件名称。 如果未指定此标志,并且存在命名为 DEFAULT 的配置文件,则使用该配置文件。

--progress-format 格式

    显示进度日志的格式: default、 append、 inplace或 json

-t, --target 字符串

    如果适用,要使用的捆绑包目标

从遗留的 Python CLI 迁移

Databricks 的 CLI 和已弃用的基于 air Python 的 CLI 使用不同的命令名称和标志。 使用以下映射更新脚本:

Python CLI Databricks 命令行界面 (CLI)
air run -f train.yaml databricks air run -f train.yaml
air run -f train.yaml --override A=X B=Y databricks air run -f train.yaml --override A=X --override B=Y
air get run <run-id> databricks air get <run-id>
air list runs databricks air list --all-status
air list runs --active databricks air list
air -h config databricks air run -h config
air logs <run-id> databricks air logs <run-id>
air cancel <run-id> databricks air cancel <run-id>

其他资源