AI 运行时快速入门

Databricks 建议从 Databricks CLI 开始运行你的第一个 AI 运行时工作负载。 Databricks CLI 可让你通过终端提交、监控和管理无服务器 GPU 工作负载。 如果你更喜欢笔记本,可以参考 AI 运行时笔记本快速入门。

Requirements

  • 一个启用 AI 运行时的 Azure Databricks 工作区。 参见 要求。
  • Databricks CLI 版本 1.24.0 或更高。 早期版本缺少 databricks air 该快速入门所使用的命令、 code_source 格式或加速器类型列表。
  • 需要在你的PATH上安装并可使用 Git,才能运行 Python 示例。 CLI使用Git来打包本地代码。

运行第一个工作负载

  1. 安装或更新 Databricks CLI,并在工作区中完成身份验证。 请参阅安装或更新 Databricks CLI 和 Databricks CLI 的身份验证。

    小窍门

    要选择演练工作区而不重复 --profile,请列出你的配置文件并设置默认值:

    databricks auth profiles
    databricks auth switch --profile <profile>
    databricks auth describe
    

    检查输出中的 Host 是否是你想运行工作负载的工作区。 若要设置 shell-session 的默认值,请改用 export DATABRICKS_CONFIG_PROFILE=<profile>。 该环境变量优先于由 auth switch 设置的默认值。

    要覆盖任一默认设置,只需附加 --profile <other-profile>。 提交、状态和日志使用相同的配置文件:作业运行ID属于你提交工作负载的工作区。 请参见 Databricks CLI 的配置配置文件。

    确认CLI版本为1.24.0或更高,且 air 命令可用:

    databricks --version
    databricks air --help
    

    如果 databricks air --help 返回 unknown command "air" for "databricks",你的CLI版本太旧了。 更新CLI并重新尝试。

  2. 创建一个最小的工作负载文件。 以下 workload.yaml 请求一块 A10 GPU,并运行 nvidia-smi 以打印 GPU 名称:

    experiment_name: air-quickstart
    compute:
      num_accelerators: 1
      accelerator_type: GPU_1xA10
    command: nvidia-smi --query-gpu=name --format=csv,noheader
    

    accelerator_type 值的形式为 GPU_<GPUs per node>x<GPU model>,如 GPU_1xA10、GPU_1xH100或 GPU_8xH100。 所有值请参见 加速器类型。 要列出工作区中可用的加速器类型,请运行 databricks air run -h config.compute.accelerator_type。

  3. 提交工作负载,并使用 databricks air run 流式传输其日志:

    databricks air run --file workload.yaml --watch
    

    CLI 返回作业运行 ID 以及指向您工作区中该运行的链接。 --watch 保持终端连接,并流式传输日志,直到工作负载完成。

    Submitting experiment: air-quickstart
    Submitted workload with Job Run ID: 783940125630184
    View job run at: https://example.cloud.databricks.com/jobs/runs/783940125630184?o=1234567890123456
    
    Monitoring run and streaming logs...
    ...
    Environment setup completed at Thu Oct 1 14:23:45 UTC 2026
    NVIDIA A10
    

小窍门

要获取编写工作负载配置和管理运行的帮助,可以为你的 AI 智能体安装 databricks-ai-runtime 技能。 请参阅将智能体技能与 AI 运行时配合使用。

自己运行Python代码

要上传和运行本地 Python 代码,请创建一个包含以下文件的air-quickstart目录:

air-quickstart/
├── workload.yaml
└── src/
    └── main.py

小窍门

要从可运行项目开始,而不是手动创建这些文件,可以克隆 AI Runtime cookbook repository,并切换到 CLI getting-started 目录:

git clone https://github.com/databricks-solutions/ai-runtime-cookbook.git
cd ai-runtime-cookbook/getting-started/air-cli

该 Cookbook 项目将 main.py 与 workload.yaml 放在同一个目录中,并使用 root_path: .,因此其布局与此处所示不同。

使用以下最简的 Python 代码验证 AI 运行时是否在 GPU 上运行上传的代码:

import torch

print("Hello from Python on AI Runtime")
print(f"GPU: {torch.cuda.get_device_name(0)}")

为了扩展示例,你可以用自己的训练、批量推理或其他人工智能应用替换 src/main.py。

对workload.yaml使用以下配置:

experiment_name: python-quickstart
environment:
  version: databricks_ai_v6
compute:
  num_accelerators: 1
  accelerator_type: GPU_1xA10
code_source:
  root_path: ./src
command: python "$CODE_SOURCE_PATH/main.py"

该配置使用以下设置,运行 src/main.py 在一块 A10 GPU 上:

  • environment.version 选择 Databricks AI 环境版本 6,其中包含 PyTorch。 此密钥是可选的。 如果你省略了它,CLI会使用默认的 标准环境 ,不包含PyTorch。 要查看默认版本,运行 databricks air run -h config.environment.version。
  • root_path: ./src 将 src 目录上传到与 workload.yaml 相同的目录中。 运行时,$CODE_SOURCE_PATH 指向已上传的目录。

在默认输出位置下,当你将 工作负载转换为包时,databricks air convert-to-dabs 需要代码位于子目录中,如下布局所示。

Note

CLI不会上传 Git 忽略的文件,包括被上层仓库忽略的文件。 如果工作负载找不到 main.py,运行 git check-ignore -v src 以检查 src 目录是否被忽略。 请参见code_source工作负载YAML参考。

在你自己的工作负载中,设置 environment.version,以固定你的代码所依赖的预装软件包。 关于该键接受的值,请参见 environment。 关于每个环境中的包,请参见 “设置你的 AI 运行环境”。

要引入您自己的依赖栈,请用标准环境版本 6 和显式依赖替换 environment 块:

environment:
  version: 6
  dependencies:
    - torch==2.11.0

CLI工作负载在每次运行时安装这些依赖。 这个选项会增加 PyTorch 和 CUDA wheel 包的下载时间。

从包含 workload.yaml 的目录提交工作负载:

databricks air run --file workload.yaml --watch

流式日志包括:

...
Hello from Python on AI Runtime
GPU: NVIDIA A10G

检查和管理你的运行

每次运行都有一个作业运行 ID,提交工作负载时,databricks air run会打印该 ID。

要在后台提交,请省略 --watch:

databricks air run --file workload.yaml

命令提交后返回,而工作负载仍在运行。 使用返回的作业运行 ID 和相同的工作区配置文件执行以下命令。

要检查运行状态、配置和时序,请执行:

databricks air get <job-run-id>

输出包括一个指向作业运行的链接,以及(如果有的话)的MLflow运行链接。

要查看运行日志,请运行:

databricks air logs <job-run-id>

databricks air logs 打印现有工作负载输出,并在运行处于活动状态时继续流式输出。

使用作业运行链接检查执行状态、计算资源、尝试次数和驱动程序输出。 使用 MLflow 运行链接查看持久日志以及工作负载记录的所有参数、指标和工件。

对于运行较长时间的工作负载,可以使用MLflow 系统指标 标签页检查自动收集的GPU利用率和内存。 如需记录自定义指标和工件或比较运行,请参见 实验跟踪和可观测性。

列出运行(包括已完成的运行),请运行:

databricks air list --all-status

要取消当前运行,请执行:

databricks air cancel <job-run-id>

如果运行失败,利用其状态、日志以及可用的作业或 MLflow 链接来识别可操作的错误。 纠正工作负载或配置,然后再次提交它。

继续探索Databricks的CLI

这个快速入门使用最小工作负载配置。 请参阅 工作负载 YAML 参考,以配置环境、代码来源、计算资源、机密信息、重试及其他设置。

如果标准环境不满足你的依赖需求,可以使用 自定义的 Docker 镜像。

要探索完整的训练、微调、批处理推理、分布式训练和 Ray 工作负载,可以克隆 AI Runtime Cookbook 并运行一个示例。

其他资源