Databricks 建议从 Databricks CLI 开始运行你的第一个 AI 运行时工作负载。 Databricks CLI 可让你通过终端提交、监控和管理无服务器 GPU 工作负载。 如果你更喜欢笔记本,可以参考 AI 运行时笔记本快速入门。
Requirements
- 一个启用 AI 运行时的 Azure Databricks 工作区。 参见 要求。
- Databricks CLI 版本 1.24.0 或更高。 早期版本缺少
databricks air该快速入门所使用的命令、code_source格式或加速器类型列表。 - 需要在你的
PATH上安装并可使用 Git,才能运行 Python 示例。 CLI使用Git来打包本地代码。
运行第一个工作负载
安装或更新 Databricks CLI,并在工作区中完成身份验证。 请参阅安装或更新 Databricks CLI 和 Databricks CLI 的身份验证。
小窍门
要选择演练工作区而不重复
--profile,请列出你的配置文件并设置默认值:databricks auth profiles databricks auth switch --profile <profile> databricks auth describe检查输出中的
Host是否是你想运行工作负载的工作区。 若要设置 shell-session 的默认值,请改用export DATABRICKS_CONFIG_PROFILE=<profile>。 该环境变量优先于由auth switch设置的默认值。要覆盖任一默认设置,只需附加
--profile <other-profile>。 提交、状态和日志使用相同的配置文件:作业运行ID属于你提交工作负载的工作区。 请参见 Databricks CLI 的配置配置文件。确认CLI版本为1.24.0或更高,且
air命令可用:databricks --version databricks air --help如果
databricks air --help返回unknown command "air" for "databricks",你的CLI版本太旧了。 更新CLI并重新尝试。创建一个最小的工作负载文件。 以下
workload.yaml请求一块 A10 GPU,并运行nvidia-smi以打印 GPU 名称:experiment_name: air-quickstart compute: num_accelerators: 1 accelerator_type: GPU_1xA10 command: nvidia-smi --query-gpu=name --format=csv,noheaderaccelerator_type值的形式为GPU_<GPUs per node>x<GPU model>,如GPU_1xA10、GPU_1xH100或GPU_8xH100。 所有值请参见 加速器类型。 要列出工作区中可用的加速器类型,请运行databricks air run -h config.compute.accelerator_type。提交工作负载,并使用
databricks air run流式传输其日志:databricks air run --file workload.yaml --watchCLI 返回作业运行 ID 以及指向您工作区中该运行的链接。
--watch保持终端连接,并流式传输日志,直到工作负载完成。Submitting experiment: air-quickstart Submitted workload with Job Run ID: 783940125630184 View job run at: https://example.cloud.databricks.com/jobs/runs/783940125630184?o=1234567890123456 Monitoring run and streaming logs... ... Environment setup completed at Thu Oct 1 14:23:45 UTC 2026 NVIDIA A10
小窍门
要获取编写工作负载配置和管理运行的帮助,可以为你的 AI 智能体安装 databricks-ai-runtime 技能。 请参阅将智能体技能与 AI 运行时配合使用。
自己运行Python代码
要上传和运行本地 Python 代码,请创建一个包含以下文件的air-quickstart目录:
air-quickstart/
├── workload.yaml
└── src/
└── main.py
小窍门
要从可运行项目开始,而不是手动创建这些文件,可以克隆 AI Runtime cookbook repository,并切换到 CLI getting-started 目录:
git clone https://github.com/databricks-solutions/ai-runtime-cookbook.git
cd ai-runtime-cookbook/getting-started/air-cli
该 Cookbook 项目将 main.py 与 workload.yaml 放在同一个目录中,并使用 root_path: .,因此其布局与此处所示不同。
使用以下最简的 Python 代码验证 AI 运行时是否在 GPU 上运行上传的代码:
import torch
print("Hello from Python on AI Runtime")
print(f"GPU: {torch.cuda.get_device_name(0)}")
为了扩展示例,你可以用自己的训练、批量推理或其他人工智能应用替换 src/main.py。
对workload.yaml使用以下配置:
experiment_name: python-quickstart
environment:
version: databricks_ai_v6
compute:
num_accelerators: 1
accelerator_type: GPU_1xA10
code_source:
root_path: ./src
command: python "$CODE_SOURCE_PATH/main.py"
该配置使用以下设置,运行 src/main.py 在一块 A10 GPU 上:
-
environment.version选择 Databricks AI 环境版本 6,其中包含 PyTorch。 此密钥是可选的。 如果你省略了它,CLI会使用默认的 标准环境 ,不包含PyTorch。 要查看默认版本,运行databricks air run -h config.environment.version。 -
root_path: ./src将src目录上传到与workload.yaml相同的目录中。 运行时,$CODE_SOURCE_PATH指向已上传的目录。
在默认输出位置下,当你将 工作负载转换为包时,databricks air convert-to-dabs 需要代码位于子目录中,如下布局所示。
Note
CLI不会上传 Git 忽略的文件,包括被上层仓库忽略的文件。 如果工作负载找不到 main.py,运行 git check-ignore -v src 以检查 src 目录是否被忽略。 请参见code_source工作负载YAML参考。
在你自己的工作负载中,设置 environment.version,以固定你的代码所依赖的预装软件包。 关于该键接受的值,请参见 environment。 关于每个环境中的包,请参见 “设置你的 AI 运行环境”。
要引入您自己的依赖栈,请用标准环境版本 6 和显式依赖替换 environment 块:
environment:
version: 6
dependencies:
- torch==2.11.0
CLI工作负载在每次运行时安装这些依赖。 这个选项会增加 PyTorch 和 CUDA wheel 包的下载时间。
从包含 workload.yaml 的目录提交工作负载:
databricks air run --file workload.yaml --watch
流式日志包括:
...
Hello from Python on AI Runtime
GPU: NVIDIA A10G
检查和管理你的运行
每次运行都有一个作业运行 ID,提交工作负载时,databricks air run会打印该 ID。
要在后台提交,请省略 --watch:
databricks air run --file workload.yaml
命令提交后返回,而工作负载仍在运行。 使用返回的作业运行 ID 和相同的工作区配置文件执行以下命令。
要检查运行状态、配置和时序,请执行:
databricks air get <job-run-id>
输出包括一个指向作业运行的链接,以及(如果有的话)的MLflow运行链接。
要查看运行日志,请运行:
databricks air logs <job-run-id>
databricks air logs 打印现有工作负载输出,并在运行处于活动状态时继续流式输出。
使用作业运行链接检查执行状态、计算资源、尝试次数和驱动程序输出。 使用 MLflow 运行链接查看持久日志以及工作负载记录的所有参数、指标和工件。
对于运行较长时间的工作负载,可以使用MLflow 系统指标 标签页检查自动收集的GPU利用率和内存。 如需记录自定义指标和工件或比较运行,请参见 实验跟踪和可观测性。
列出运行(包括已完成的运行),请运行:
databricks air list --all-status
要取消当前运行,请执行:
databricks air cancel <job-run-id>
如果运行失败,利用其状态、日志以及可用的作业或 MLflow 链接来识别可操作的错误。 纠正工作负载或配置,然后再次提交它。
继续探索Databricks的CLI
这个快速入门使用最小工作负载配置。 请参阅 工作负载 YAML 参考,以配置环境、代码来源、计算资源、机密信息、重试及其他设置。
如果标准环境不满足你的依赖需求,可以使用 自定义的 Docker 镜像。
要探索完整的训练、微调、批处理推理、分布式训练和 Ray 工作负载,可以克隆 AI Runtime Cookbook 并运行一个示例。