Important
AIランタイム用のDatabricksのCLIコマンドは パブリックプレビュー中です。 ワークスペース管理者は、ワークロードを提出する前にAIランタイムプレビューを有効にする必要があります。 要件を参照してください。
databricks airCLIは、オンデマンドのサーバーレスGPU計算プラットフォームであるAI Runtime上で、シングルノードおよびマルチノードのGPUワークロードを実行します。 ワークロードのコンピュート、環境、コマンドをYAMLで定義し、databricks air runで送信します。
AIランタイムはGPUのプロビジョニングと環境設定を担当し、実行状況、ログ、システム指標、MLflowの追跡を提供します。 YAMLおよびCLIのワークフローは、コーディングエージェントと自然に連携し、ワークロードの定義、提出、監視が可能です。
CLI を使用して次の操作を行います：
- ローカル環境からPythonアプリケーションを開発し、反復していく。
- ソース管理が可能なYAMLファイルで、再利用可能な単一ノードまたは複数ノードのワークロードを定義しましょう。
- 端末や自動化された開発ワークフローからワークロードを送信・管理します。
典型的なワークロードには、LLMのファインチューニングやポストトレーニング、分散トレーニング、バッチ推論、Ray アプリケーション、ハイパーパラメータ検索などがあります。
ワークロードを送信するには、クイックスタートに従ってください。
DatabricksのAIランタイムCLIコマンドは、AIランタイムワークロードと同じコンプライアンス基準を満たしています。 サポートされている標準と例外については、 コンプライアンス セキュリティ プロファイルを参照してください。
Note
databricks airコマンドやワークロードの設定は、databricks-airパッケージ内の従来のPythonベースのairCLIとは異なります。
Python CLI移行を参照してください。
ワークロードの実行方法
ワークロードのYAMLファイル、必要に応じてアプリケーションコード、そしてアプリケーションを起動するコマンドを提供します。 ワークロードを送信する際:
- ワークロードの定義は、サポートされたスキーマおよび構成制約に対して検証されます。
-
code_sourceが設定されている場合、選択したコードはスナップショットとしてパッケージ化されアップロードされます。 - 要求されたGPUコンピュートと環境は各ノードで準備されます。
- ワークロードYAMLで提供されたコマンドは各ノードで実行されます。
送信すると、作業負荷を識別するジョブ実行IDが返されます。 ステータス確認、ログや設定の確認、ワークロードのキャンセルなどに使えます。 また、ジョブ実行ページやMLflow実験で実行の詳細、システム指標、ログ、アーティファクトも閲覧できます。
このワークフローは、GPUインフラの設定や保守を必要とせずに、管理されたGPUプロビジョニング、再現可能な環境設定、組み込みの可観測性を提供します。
ワークロード構成
ワークロードYAMLファイルは以下のコンポーネントを記述します:
- 実験: ワークロードを追跡する MLflow の実験と実行。
- 環境:管理された環境、依存関係、または使用する カスタムDockerイメージ 。
- コンピューティング: 提供するアクセラレータの種類と数。
- コードソース:ワークロードに提供するためのアプリケーションコードのオプションスナップショット。
- コマンド:アプリケーションを起動するシェルコマンドです。
- ランタイム設定: リトライ、タイムアウト、環境変数、シークレット、権限などのオプション。
構成フィールドや例については、 Workload YAMLリファレンスを参照してください。
アプリケーションコードをアップロード
code_sourceを使って、ワークロードとともにアプリケーション ファイルをアップロードしてください。 AI Runtimeはアップロードされたディレクトリをすべてのノードで利用可能にし、$CODE_SOURCE_PATH をその場所に設定します。 例えば、以下のコマンドを実行すると、アップロードしたディレクトリから train.py が実行されます。
command: python "$CODE_SOURCE_PATH/train.py"
現在の作業ツリーをアップロードするか、Gitブランチやコミットを選択できます。 完全な例は クイックスタートをご覧ください。
ワークロードを開発および管理する
開発は通常以下のプロセスを踏みます。
- アプリケーションコードとワークロード YAML をローカルで開発します。
-
databricks air run --file <file> --dry-runでYAMLをローカルで検証してください。 -
databricks air run --file <file>でワークロードを送信してください。--watchを追加して、ランが終了するまでログをストリーミングしてください。 -
databricks air get、databricks air list、databricks air logsを使ってワークロードやログを検査します。 - 必要に応じて、実行中のワークロードを
databricks air cancelで停止することも可能です。
すべてのコマンドおよびフラグについては、airコマンドグループをご覧ください。
スケジュールされた実行、マルチタスクワークフロー、環境をまたぐプロモーションのために、 databricks air convert-to-dabs をバンドルの出発点として使うことができます。 「GPU ワークロードのスケジュール設定とタスクの作成」を参照してください。
MLflowでワークロードを追跡する
提出された各ワークロードはDatabricksのジョブ実行で表され、MLflow実験を通じて追跡されます:
- Databricksジョブ実行:ジョブ実行ページにワークロードの状態、実行試行、出力を表示します。
- MLflow experiment: 自動取得されたシステム指標、ワークロード設定、ログを含むMLflow runを含みます。 また、MLflow APIを使ってカスタムパラメータ、指標、アーティファクトをログに記録することも可能です。
ジョブ実行IDを databricks air get、 databricks air logs、 databricks air cancelなどのコマンドで使用してください。 追跡と可観測性の詳細については、「MLflow でランを追跡する」と Jobs 実行ページをご覧ください。
シングルノードおよび分散ワークロードを実行
AI Runtimeは、各プロビジョニングされたノードで設定済みコマンドを1回だけ実行します。 分散ワークロードに対しては、 NUM_NODES、 NODE_RANK、 LOCAL_WORLD_SIZE、 MASTER_ADDR、 MASTER_PORTなどの調整変数を提供します。
この実行モデルはフレームワークに依存しません。 コマンドは分散フレームワークを起動し設定しなければなりません。例えば、 torchrun、Rayブートストラップスクリプト、または他のフレームワークランチャーを呼び出して設定する必要があります。 例については、 AIランタイムのDatabricks CLI例を参照してください。
AIエージェントを使いましょう
databricks-ai-runtimeエージェントスキルは、Claude Code、Cursor、CodexなどのAIエージェントがDatabricks CLIを通じてAI Runtimeを扱うのを支援する指示を提供します。 これを使ってワークロードYAMLの作成、GPUトレーニングジョブの提出、実行状況の確認、ログのストリーミング、実行のキャンセルなどに使えます。 また、カスタムDockerイメージのガイダンスも含まれています。
Databricks CLIをインストールし認証を設定した後、以下のコマンドを実行します。
databricks aitools install --skills-only --skills databricks-ai-runtime --experimental
AIエージェントとインストール範囲を選択するには、プロンプトに従ってください。 インストール オプションについては、aitoolsコマンド グループを参照してください。