air 指揮群

Databricks CLI内のairコマンドグループは、トレーニングや推論などのGPUワークロードをAIランタイムで提出・管理します。

ワークロードの設定フィールドについては、 Workload YAMLリファレンスを参照してください。 最初のワークロードを提出するには、 AI Runtime Quickstartをご覧ください。

Databricks Air Run

YAML構成からワークロードを提出します。 出力にはジョブ実行IDとジョブ実行URLが含まれます。

databricks air run --file YAML_PATH [flags]

Arguments

None

オプション

-f, --file string

    ワークロードのYAML設定へのパス。 このオプションは必須です。

--watch

    最初のノード(ノード0)から実行が終端状態に達するまでストリームログを保存します。 既定値: false。

--override stringArray

     FIELD_PATH=VALUEを使ってYAMLフィールドを上書きします。 このオプションを繰り返して複数のフィールドを上書きします。

--dry-run

    ワークロードを提出せずに設定を検証してください。 既定値: false。

--idempotency-key string

    以前にキーを使った既存のランを返却してください。 YAMLで idempotency_token を上書きします。 最大64文字。

グローバルフラッグ

Examples

以下の例は、 train.yaml からワークロードを送信し、最初のノード(ノード0)から実行終了までログをストリーミングします。

databricks air run --file train.yaml --watch

バックグラウンドで投稿する場合は、 --watchを省略してください。 コマンドは服従後に戻ってきます。 返されたジョブ実行IDを使ってステータスとストリームログを確認しましょう:

databricks air get <job-run-id>
databricks air logs <job-run-id>

提出、ステータス、ログは同じワークスペースプロファイルを使ってください。 Databricks CLIについては設定プロファイルを参照してください。

構成パスを別の引数として渡し、 -h 表示作業負荷の設定ヘルプを表示します:

databricks air run -h config
databricks air run -h config.compute
databricks air run -h config.compute.accelerator_type

Databricks Air Get

ランの詳細を入手しましょう。

databricks air get JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

     databricks air runが返却したジョブ実行IDです。

オプション

グローバルフラッグ

Databricks Air List

実行の一覧を表示します。 デフォルトでは、コマンドは現在のユーザーが提出したアクティブな実行を一覧化します。

databricks air list [flags]

Arguments

None

オプション

--limit int

    最大ラン数。 既定値: 20。

--all-status

    終末状態でのランも含めてください。 既定値: false。

--all-users

    他のユーザーが投稿したランも含めてください。 既定値: false。

--filter stringArray

    フィルターは KEY=VALUEを使って動作します。 このオプションを繰り返して条件を追加します。 ランはすべての条件に合致しなければなりません。 フィルター キーを参照してください。

グローバルフラッグ

フィルターキー

各 --filter 選択肢には1つの KEY=VALUE 条件が必要です。 = は唯一の演算子です。 状態を否定したり、範囲を比較したり、ORと組み合わせたりすることはできません。

Key 一致 Example
accelerator_type アクセラレータファミリー( A10 や H100)、またはワークロードYAMLからのフル accelerator_type 値( GPU_8xH100など)です。 姓は大文字に区別されません。 accelerator_type=H100
experiment 実験名全体と比べて塊状のパターンだった。 このマッチは大文字を区別しません。 * 任意の文字列をマッチさせ、 ? は1文字、 [abc] はセットの1文字に対応します。 正規表現はサポートされていません。 ワイルドカードのない値は、まさにその名前の実験と一致します。 'experiment=qwen*'
num_accelerators 実行の総GPU数。 値は正の整数でなければならず、かつ正確に一致していなければなりません。 num_accelerators=8
user ランを提出したユーザーのユーザー名です。 値が正確に一致していなければなりません。 このキーは自分のランに制限されていたデフォルトの制限を置き換えるので、 --all-usersは不要です。 user=person@example.com

サポートされている accelerator_type 値については、 アクセラレータの種類を参照してください。

フィルターはコマンドで既にリストされているランを絞り込みます。 --all-statusがなければ、アクティブランだけがマッチングできます。

*、?、または[を含む条件の後ろにシングルクォートを付けて、シェルがパターンをCLIに変更せずに渡すようにします。

条件が KEY=VALUE 形式でない場合、テーブルにないキーを使用している場合、空または無効な数値がある場合、コマンドはエラーを返します。

Examples

以下の例は、H100アクセラレータを使用したアクティブなランを示しています:

databricks air list --filter accelerator_type=H100

以下の例は、実験名がqwenで始まり、合計8つのGPUを使用するperson@example.com提出された状態の実行を示しています。

databricks air list --all-status \
  --filter 'experiment=qwen*' \
  --filter num_accelerators=8 \
  --filter user=person@example.com

Databricks Air Logs

配信やログの取ってきて、ランをする。

databricks air logs JOB_RUN_ID [flags]

Arguments

JOB_RUN_ID

     databricks air runが返却したジョブ実行IDです。

オプション

--node int

    ゼロベースのノードインデックスを選択します。 既定値: 0。

--tail int

    印刷すべき既存のログラインの数。 既定値: 10000。

--minutes int

    直近の数分のログを取り出します。 --tailと組み合わせることはできません。 既定値: 0。

--retry int

    再試行を選択してください。 0 は最初の試みであり、 -1 が最新のものである。 既定値: -1。

--download-to string

    完全なログをディレクトリにダウンロードしてください。 設定されていない限り、すべてのノードをダウンロード --node 。 --tailまたは--minutesと組み合わせることはできません。

グローバルフラッグ

Databricks エアキャンセル

ジョブ実行IDで1回以上の実行をキャンセルするか、現在ユーザーが提出したすべてのアクティブな実行をキャンセルできます。

databricks air cancel [JOB_RUN_ID...] [flags]

Arguments

JOB_RUN_ID

    1つ以上のジョブランIDです。 --allと組み合わせることはできません。

オプション

--all

    現在のユーザーが提出したすべてのアクティブなランをキャンセルしてください。 既定値: false。

-y, --yes

     --allが使った確認プロンプトは飛ばしてください。 既定値: false。

グローバルフラッグ

Databricks Air Images Push

コンテナイメージをArtifact Registryにプッシュします。

画像のプッシュに関する前提条件や手順については、 Databricks CLIでプッシュイメージをご参照ください。

databricks air images push [flags]

Arguments

None

オプション

-s, --source string

    ソースコンテナイメージは、オプションタグ(NAME[:TAG])またはダイジェスト(NAME@DIGEST)を付けた名前として使います。 インタラクティブ端末で省略すると、コマンドは値のプロンプトを提示します。

--catalog string

    目的地はUnityカタログカタログです。 インタラクティブ端末で省略すると、コマンドは値のプロンプトを提示します。

--schema string

    宛先のUnity Catalogスキーマ。 インタラクティブ端末で省略すると、コマンドは値のプロンプトを提示します。

--artifact string

    目的地のアーティファクトは ARTIFACT[:TAG]。 ソース画像名とタグをデフォルトで設定し、タグがない場合は latest タグを使用します。

--pull

    プッシュする前に、利用可能なローカルイメージを再利用するのではなく、レジストリからソースイメージを取得しましょう。 既定値: false。

グローバルフラッグ

Databricks Air Convert-to-DAB

ワークロードのYAML構成をDatabricksのアセットバンドルに変換します。 このローカルコマンドは databricks.yml の書き込みと generated_artifacts/の下でのファイルの起動を行います。

このコマンドは高度な本番ワークフローへのオプションの橋渡しです。 設定を変換せずに databricks air run を使い続けられます。

バンドルワークフローについては、「 GPUワークロードのスケジューリング」と「タスクの合成」をご覧ください。

databricks air convert-to-dabs YAML_PATH [flags]

Arguments

YAML_PATH

    ワークロードのYAML構成への経路。

オプション

--output-dir string

    ディレクトリでは、コマンドがバンドルを書き込む。 コードソースはこのディレクトリの中にある必要があります。 デフォルト:入力YAMLファイルを含むディレクトリ。

--force

    既存のバンドルファイルを上書きします。 既定値: false。

グローバルフラッグ

グローバル フラグ

--debug

  デバッグ ログを有効にするかどうかを指定します。

-h または --help

    Databricks CLI、または関連コマンド グループ、または関連コマンドのヘルプの表示。

--log-file ストリング

    出力ログを書き込むファイルを表す文字列。 このフラグが指定されていない場合、既定では stderr に出力ログが書き込まれます。

--log-format フォーマット

    ログ形式の種類、 text 、または json。 既定値は text です。

--log-level ストリング

    ログ形式レベルを表す文字列。 指定しない場合、ログ形式レベルは無効になります。

-o, --output 種類

    コマンド出力の種類( text または json)。 既定値は text です。

-p, --profile ストリング

    コマンドの実行に使用する ~/.databrickscfg ファイル内のプロファイルの名前。 このフラグが指定されていない場合は、存在する場合は、 DEFAULT という名前のプロファイルが使用されます。

--progress-format フォーマット

    進行状況ログを表示する形式: default、 append、 inplace、または json

-t, --target ストリング

    該当する場合は、使用するバンドル ターゲット

レガシーのPython CLIからの移行

DatabricksのCLIと、廃止されたPythonベースのairCLIは異なるコマンド名とフラグを使用しています。 以下のマッピングを使ってスクリプトを更新します:

Python CLI Databricks コマンドラインインターフェース (CLI)
air run -f train.yaml databricks air run -f train.yaml
air run -f train.yaml --override A=X B=Y databricks air run -f train.yaml --override A=X --override B=Y
air get run <run-id> databricks air get <run-id>
air list runs databricks air list --all-status
air list runs --active databricks air list
air -h config databricks air run -h config
air logs <run-id> databricks air logs <run-id>
air cancel <run-id> databricks air cancel <run-id>

その他のリソース