Databricks CLI内のairコマンドグループは、トレーニングや推論などのGPUワークロードをAIランタイムで提出・管理します。
ワークロードの設定フィールドについては、 Workload YAMLリファレンスを参照してください。 最初のワークロードを提出するには、 AI Runtime Quickstartをご覧ください。
Databricks Air Run
YAML構成からワークロードを提出します。 出力にはジョブ実行IDとジョブ実行URLが含まれます。
databricks air run --file YAML_PATH [flags]
Arguments
None
オプション
-f, --file string
ワークロードのYAML設定へのパス。 このオプションは必須です。
--watch
最初のノード(ノード0)から実行が終端状態に達するまでストリームログを保存します。 既定値: false。
--override stringArray
FIELD_PATH=VALUEを使ってYAMLフィールドを上書きします。 このオプションを繰り返して複数のフィールドを上書きします。
--dry-run
ワークロードを提出せずに設定を検証してください。 既定値: false。
--idempotency-key string
以前にキーを使った既存のランを返却してください。 YAMLで idempotency_token を上書きします。 最大64文字。
Examples
以下の例は、 train.yaml からワークロードを送信し、最初のノード(ノード0)から実行終了までログをストリーミングします。
databricks air run --file train.yaml --watch
バックグラウンドで投稿する場合は、 --watchを省略してください。 コマンドは服従後に戻ってきます。 返されたジョブ実行IDを使ってステータスとストリームログを確認しましょう:
databricks air get <job-run-id>
databricks air logs <job-run-id>
提出、ステータス、ログは同じワークスペースプロファイルを使ってください。 Databricks CLIについては設定プロファイルを参照してください。
構成パスを別の引数として渡し、 -h 表示作業負荷の設定ヘルプを表示します:
databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type
Databricks Air Get
ランの詳細を入手しましょう。
databricks air get JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
databricks air runが返却したジョブ実行IDです。
オプション
Databricks Air List
実行の一覧を表示します。 デフォルトでは、コマンドは現在のユーザーが提出したアクティブな実行を一覧化します。
databricks air list [flags]
Arguments
None
オプション
--limit int
最大ラン数。 既定値: 20。
--all-status
終末状態でのランも含めてください。 既定値: false。
--all-users
他のユーザーが投稿したランも含めてください。 既定値: false。
--filter stringArray
フィルターは KEY=VALUEを使って動作します。 このオプションを繰り返して条件を追加します。 ランはすべての条件に合致しなければなりません。 フィルター キーを参照してください。
フィルターキー
各 --filter 選択肢には1つの KEY=VALUE 条件が必要です。
= は唯一の演算子です。 状態を否定したり、範囲を比較したり、ORと組み合わせたりすることはできません。
| Key | 一致 | Example |
|---|---|---|
accelerator_type |
アクセラレータファミリー( A10 や H100)、またはワークロードYAMLからのフル accelerator_type 値( GPU_8xH100など)です。 姓は大文字に区別されません。 |
accelerator_type=H100 |
experiment |
実験名全体と比べて塊状のパターンだった。 このマッチは大文字を区別しません。
* 任意の文字列をマッチさせ、 ? は1文字、 [abc] はセットの1文字に対応します。 正規表現はサポートされていません。 ワイルドカードのない値は、まさにその名前の実験と一致します。 |
'experiment=qwen*' |
num_accelerators |
実行の総GPU数。 値は正の整数でなければならず、かつ正確に一致していなければなりません。 | num_accelerators=8 |
user |
ランを提出したユーザーのユーザー名です。 値が正確に一致していなければなりません。 このキーは自分のランに制限されていたデフォルトの制限を置き換えるので、 --all-usersは不要です。 |
user=person@example.com |
サポートされている accelerator_type 値については、 アクセラレータの種類を参照してください。
フィルターはコマンドで既にリストされているランを絞り込みます。
--all-statusがなければ、アクティブランだけがマッチングできます。
*、?、または[を含む条件の後ろにシングルクォートを付けて、シェルがパターンをCLIに変更せずに渡すようにします。
条件が KEY=VALUE 形式でない場合、テーブルにないキーを使用している場合、空または無効な数値がある場合、コマンドはエラーを返します。
Examples
以下の例は、H100アクセラレータを使用したアクティブなランを示しています:
databricks air list --filter accelerator_type=H100
以下の例は、実験名がqwenで始まり、合計8つのGPUを使用するperson@example.com提出された状態の実行を示しています。
databricks air list --all-status \
--filter 'experiment=qwen*' \
--filter num_accelerators=8 \
--filter user=person@example.com
Databricks Air Logs
配信やログの取ってきて、ランをする。
databricks air logs JOB_RUN_ID [flags]
Arguments
JOB_RUN_ID
databricks air runが返却したジョブ実行IDです。
オプション
--node int
ゼロベースのノードインデックスを選択します。 既定値: 0。
--tail int
印刷すべき既存のログラインの数。 既定値: 10000。
--minutes int
直近の数分のログを取り出します。
--tailと組み合わせることはできません。 既定値: 0。
--retry int
再試行を選択してください。
0 は最初の試みであり、 -1 が最新のものである。 既定値: -1。
--download-to string
完全なログをディレクトリにダウンロードしてください。 設定されていない限り、すべてのノードをダウンロード --node 。
--tailまたは--minutesと組み合わせることはできません。
Databricks エアキャンセル
ジョブ実行IDで1回以上の実行をキャンセルするか、現在ユーザーが提出したすべてのアクティブな実行をキャンセルできます。
databricks air cancel [JOB_RUN_ID...] [flags]
Arguments
JOB_RUN_ID
1つ以上のジョブランIDです。
--allと組み合わせることはできません。
オプション
--all
現在のユーザーが提出したすべてのアクティブなランをキャンセルしてください。 既定値: false。
-y, --yes
--allが使った確認プロンプトは飛ばしてください。 既定値: false。
Databricks Air Images Push
コンテナイメージをArtifact Registryにプッシュします。
画像のプッシュに関する前提条件や手順については、 Databricks CLIでプッシュイメージをご参照ください。
databricks air images push [flags]
Arguments
None
オプション
-s, --source string
ソースコンテナイメージは、オプションタグ(NAME[:TAG])またはダイジェスト(NAME@DIGEST)を付けた名前として使います。 インタラクティブ端末で省略すると、コマンドは値のプロンプトを提示します。
--catalog string
目的地はUnityカタログカタログです。 インタラクティブ端末で省略すると、コマンドは値のプロンプトを提示します。
--schema string
宛先のUnity Catalogスキーマ。 インタラクティブ端末で省略すると、コマンドは値のプロンプトを提示します。
--artifact string
目的地のアーティファクトは ARTIFACT[:TAG]。 ソース画像名とタグをデフォルトで設定し、タグがない場合は latest タグを使用します。
--pull
プッシュする前に、利用可能なローカルイメージを再利用するのではなく、レジストリからソースイメージを取得しましょう。 既定値: false。
Databricks Air Convert-to-DAB
ワークロードのYAML構成をDatabricksのアセットバンドルに変換します。 このローカルコマンドは databricks.yml の書き込みと generated_artifacts/の下でのファイルの起動を行います。
このコマンドは高度な本番ワークフローへのオプションの橋渡しです。 設定を変換せずに databricks air run を使い続けられます。
バンドルワークフローについては、「 GPUワークロードのスケジューリング」と「タスクの合成」をご覧ください。
databricks air convert-to-dabs YAML_PATH [flags]
Arguments
YAML_PATH
ワークロードのYAML構成への経路。
オプション
--output-dir string
ディレクトリでは、コマンドがバンドルを書き込む。 コードソースはこのディレクトリの中にある必要があります。 デフォルト:入力YAMLファイルを含むディレクトリ。
--force
既存のバンドルファイルを上書きします。 既定値: false。
グローバル フラグ
--debug
デバッグ ログを有効にするかどうかを指定します。
-h または --help
Databricks CLI、または関連コマンド グループ、または関連コマンドのヘルプの表示。
--log-file ストリング
出力ログを書き込むファイルを表す文字列。 このフラグが指定されていない場合、既定では stderr に出力ログが書き込まれます。
--log-format フォーマット
ログ形式の種類、 text 、または json。 既定値は text です。
--log-level ストリング
ログ形式レベルを表す文字列。 指定しない場合、ログ形式レベルは無効になります。
-o, --output 種類
コマンド出力の種類( text または json)。 既定値は text です。
-p, --profile ストリング
コマンドの実行に使用する ~/.databrickscfg ファイル内のプロファイルの名前。 このフラグが指定されていない場合は、存在する場合は、 DEFAULT という名前のプロファイルが使用されます。
--progress-format フォーマット
進行状況ログを表示する形式: default、 append、 inplace、または json
-t, --target ストリング
該当する場合は、使用するバンドル ターゲット
レガシーのPython CLIからの移行
DatabricksのCLIと、廃止されたPythonベースのairCLIは異なるコマンド名とフラグを使用しています。 以下のマッピングを使ってスクリプトを更新します:
| Python CLI | Databricks コマンドラインインターフェース (CLI) |
|---|---|
air run -f train.yaml |
databricks air run -f train.yaml |
air run -f train.yaml --override A=X B=Y |
databricks air run -f train.yaml --override A=X --override B=Y |
air get run <run-id> |
databricks air get <run-id> |
air list runs |
databricks air list --all-status |
air list runs --active |
databricks air list |
air -h config |
databricks air run -h config |
air logs <run-id> |
databricks air logs <run-id> |
air cancel <run-id> |
databricks air cancel <run-id> |