pipelines コマンド グループ

Note

この情報は、Databricks CLI バージョン 0.205 以降に適用されます。 Databricks CLI は パブリック プレビュー段階です。

Databricks CLI の使用には、Databricks ライセンスおよび使用状況データのプロビジョニングを含むDatabricks のプライバシーに関する通知が適用されます。

pipelines 内の コマンド グループには、2 つの機能セットが含まれています。 最初のセットでは、パイプライン プロジェクトとそのワークフローを管理できます。 2 番目のセットでは、Databricks のパイプライン オブジェクトに関する詳細を作成、編集、削除、開始、および表示できます。

パイプラインの詳細については、「 Lakeflow Spark 宣言型パイプライン」を参照してください。

パイプライン プロジェクトの管理

次のコマンドを使用すると、プロジェクト内のパイプラインを管理できます。

databricks パイプラインのデプロイ

プロジェクトで定義されているすべてのファイルをターゲット ワークスペースにアップロードし、ワークスペースで定義されているパイプラインを作成または更新して、パイプラインをデプロイします。

databricks pipelines deploy [flags]

Arguments

None

オプション

--auto-approve

    デプロイに必要な対話型承認をスキップする

--fail-on-active-runs

    デプロイに実行中のパイプラインがある場合に失敗する

--force-lock

    展開ロックの取得を強制する

グローバル フラグ

databricks パイプラインが破棄される

パイプライン プロジェクトを破棄します。

databricks pipelines destroy [flags]

Arguments

None

オプション

--auto-approve

    パイプラインを削除するための対話型承認をスキップする

--force-lock

    展開ロックの取得を強制する

グローバル フラグ

Databricks パイプラインの試行テスト

KEYによって識別されるパイプラインのグラフの正確性を検証します。 データセットを作成または公開しません。

databricks pipelines dry-run [flags] [KEY]

Arguments

KEY

    YAML ファイルで定義されている、ドライ ランするパイプラインの一意の名前。 プロジェクトにパイプラインが 1 つしかない場合、 KEY は省略可能であり、パイプラインは自動的に選択されます。

オプション

--no-wait

    実行が完了するまで待たない

--restart

    実行が既に実行されている場合は、実行を再起動します

グローバル フラグ

databricks パイプラインによって生成される

既存の Spark パイプラインの構成を生成します。

このコマンドは、指定したディレクトリ内のspark-pipeline.ymlまたは*.spark-pipeline.yml ファイルを検索し、パイプラインを定義するプロジェクトの*.pipeline.yml フォルダーに新しいresources構成ファイルを生成します。 複数の spark-pipeline.yml ファイルが存在する場合は、特定の *.spark-pipeline.yml ファイルへの完全なパスを指定します。

databricks pipelines generate [flags]

Note

Databricks ワークスペースで既存のパイプラインの構成を生成するには、 Databricks バンドルでパイプラインを生成 し、 Databricks CLI を使用して既存のジョブまたはパイプラインの構成を生成する方法に関する説明を参照してください。

オプション

--existing-pipeline-dir

     src内の既存のパイプライン ディレクトリへのパス (例: src/my_pipeline)。

--force

    既存のパイプライン構成ファイルを上書きします。

グローバル フラグ

例示

次の例では、現在のディレクトリを検索し、 src/my_pipeline/spark-pipeline.ymlを読み取り、パイプラインを定義する構成ファイル resources/my_pipeline.pipeline.yml を作成します。

databricks pipelines generate --existing-pipeline-dir src/my_pipeline

Databricks のパイプライン履歴

KEYによって識別されたパイプラインの過去の実行を取得します。

databricks pipelines history [flags] [KEY]

Arguments

KEY

    YAML ファイルで定義されているパイプラインの一意の名前。 プロジェクトにパイプラインが 1 つしかない場合、 KEY は省略可能であり、パイプラインは自動的に選択されます。

オプション

--end-time string

    この時刻より前の更新プログラムをフィルターする (形式: 2025-01-15T10:30:00Z)

--start-time string

    この時刻以降の更新プログラムをフィルタリングする (形式: 2025-01-15T10:30:00Z)

グローバル フラグ

databricks pipelines init

新しいパイプライン プロジェクトを初期化します。

Databricks CLI を使用してパイプライン プロジェクトを作成、デプロイ、実行するチュートリアルについては、 Databricks アセット バンドルを使用した Lakeflow Spark 宣言型パイプラインの開発に関するページを参照してください。

databricks pipelines init [flags]

Arguments

None

オプション

--config-file string

    テンプレートの初期化に必要な入力パラメーターのキー値ペアを含む JSON ファイル

--output-dir string

    初期化されたテンプレートを書き込むディレクトリ

グローバル フラグ

Databricks パイプライン ログ

KEYによって識別されるパイプラインのイベントを取得します。 既定では、このコマンドはパイプラインの最新の更新のイベントを表示します。

databricks pipelines logs [flags] [KEY]

Arguments

KEY

    YAML ファイルで定義されているパイプラインの一意の名前。 プロジェクトにパイプラインが 1 つしかない場合、 KEY は省略可能であり、パイプラインは自動的に選択されます。

オプション

--end-time string

    この終了時刻より前のイベントをフィルター処理する (形式: 2025-01-15T10:30:00Z)

--event-type strings

    イベントの種類の一覧でイベントをフィルター処理する

--level strings

    ログ レベル (INFO、 WARN、 ERROR、 METRICS) の一覧でイベントをフィルター処理する

-n, --number int

    返されるイベントの数

--start-time string

    この開始時刻より後のイベントをフィルター処理する (形式: 2025-01-15T10:30:00Z)

--update-id string

    更新プログラム ID でイベントをフィルター処理します。 指定しない場合は、最新の更新プログラム ID を使用します

グローバル フラグ

例示

databricks pipelines logs pipeline-name --update-id update-1 -n 10

databricks pipelines logs pipeline-name --level ERROR,METRICS --event-type update_progress --start-time 2025-01-15T10:30:00Z

Databricksのパイプラインを開く

KEYで識別されるブラウザーでパイプラインを開きます。

databricks pipelines open [flags] [KEY]

Arguments

KEY

    YAML ファイルで定義されている、開くパイプラインの一意の名前。 プロジェクトにパイプラインが 1 つしかない場合、 KEY は省略可能であり、パイプラインは自動的に選択されます。

オプション

--force-pull

    ローカル キャッシュをスキップし、リモート ワークスペースから状態を読み込む

グローバル フラグ

databricks パイプライン実行

KEYによって識別されるパイプラインを実行します。 特に指定がない限り、パイプライン内のすべてのテーブルを更新します。

databricks pipelines run [flags] [KEY]

Arguments

KEY

    YAML ファイルで定義されている、実行するパイプラインの一意の名前。 プロジェクトにパイプラインが 1 つしかない場合、 KEY は省略可能であり、パイプラインは自動的に選択されます。

オプション

--full-refresh strings

    リセットして再計算するテーブルの一覧

--full-refresh-all

    グラフの完全なリセットと再計算を実行する

--no-wait

    実行が完了するまで待たない

--refresh strings

    実行するテーブルの一覧

--restart

    実行が既に実行されている場合は、実行を再起動します

グローバル フラグ

databricks パイプラインを停止します

パイプラインが実行されている場合は、 KEY または PIPELINE_IDで識別して停止します。 パイプラインにアクティブな更新がない場合、この要求は処理されません。

databricks pipelines stop [KEY|PIPELINE_ID] [flags]

Arguments

KEY

    YAML ファイルで定義されている、停止するパイプラインの一意の名前。 プロジェクトにパイプラインが 1 つしかない場合、 KEY は省略可能であり、パイプラインは自動的に選択されます。

PIPELINE_ID

    停止するパイプラインの UUID。

オプション

--no-wait

    IDLE 状態に達するのを待たない

--timeout duration

    IDLE 状態に達するまでの最大時間 (既定は 20 m0s)

グローバル フラグ

パイプライン オブジェクトの管理

次のコマンドを使用すると、Databricks でパイプライン オブジェクトを管理できます。

databricks パイプライン作成

要求された構成に基づいて新しいデータ処理パイプラインを作成します。 成功した場合、このコマンドは新しいパイプラインの ID を返します。

databricks pipelines create [flags]

Arguments

None

オプション

--json JSON

    要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path。

グローバル フラグ

databricksのパイプラインを削除

パイプラインを削除します。

databricks pipelines delete PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    削除するパイプライン。

オプション

グローバル フラグ

databricks パイプラインを取得する

パイプラインを取得します。

databricks pipelines get PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    取得するパイプライン。

オプション

グローバル フラグ

databricks パイプラインの get-update

アクティブなパイプラインから更新プログラムを取得します。

databricks pipelines get-update PIPELINE_ID UPDATE_ID [flags]

Arguments

PIPELINE_ID

    パイプラインの ID。

UPDATE_ID

    更新プログラムの ID。

オプション

グローバル フラグ

databricks pipelines の list-pipeline-events コマンド（パイプラインイベントの一覧表示）

パイプラインのイベントを取得します。

databricks pipelines list-pipeline-events PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    イベントを取得先のパイプライン。

オプション

--filter string

    結果のサブセットを選択する条件。SQL に似た構文を使用して表されます。

--max-results int

    1 ページで返されるエントリの最大数。

--page-token string

    前の呼び出しによって返されたページトークン。

グローバル フラグ

databricks パイプライン リスト表示

Delta Live Tables システムで定義されているパイプラインを一覧表示します。

databricks pipelines list-pipelines [flags]

Arguments

None

オプション

--filter string

    指定した条件に基づいて結果のサブセットを選択します。

--max-results int

    1 ページで返されるエントリの最大数。

--page-token string

    前の呼び出しによって返されたページトークン。

グローバル フラグ

databricks パイプラインのリスト更新

アクティブなパイプラインの更新を一覧表示します。

databricks pipelines list-updates PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    更新プログラムを返すパイプライン。

オプション

--max-results int

    1 ページで返されるエントリの最大数。

--page-token string

    前の呼び出しによって返されたページトークン。

--until-update-id string

    存在する場合は、この update_id を含む更新まで返します。

グローバル フラグ

databricks パイプラインの start-update

パイプラインの新しい更新を開始します。 パイプラインのアクティブな更新プログラムが既にある場合、要求は失敗し、アクティブな更新プログラムは実行されたままです。

databricks pipelines start-update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    アップデートを開始するためのパイプライン。

オプション

--cause StartUpdateCause

    サポートされている値: [API_CALL、JOB_TASK、RETRY_ON_FAILURE、SCHEMA_CHANGE、SERVICE_UPGRADE、USER_ACTION]

--full-refresh

    true の場合、この更新プログラムは実行前にすべてのテーブルをリセットします。

--json JSON

    要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path。

--validate-only

    true の場合、この更新ではパイプライン ソース コードの正確性のみが検証されますが、データセットの具体化や発行は行われません。

グローバル フラグ

databricks パイプラインの更新

指定された構成でパイプラインを更新します。

databricks pipelines update PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    このパイプラインの一意識別子。

オプション

--allow-duplicate-names

    false の場合、名前が変更され、別のパイプラインの名前と競合する場合、デプロイは失敗します。

--budget-policy-id string

    このパイプラインの予算ポリシー。

--catalog string

    このパイプラインからデータを発行する先の、Unity Catalog のカタログ。

--channel string

    使用するバージョンを指定する Lakeflow Spark 宣言パイプライン リリース チャネル。

--continuous

    パイプラインが継続的かトリガーされるか。

--development

    パイプラインが開発モードであるかどうかを示します。

--edition string

    パイプライン製品エディション。

--expected-last-modified int

    存在する場合は、編集前のパイプライン設定の最終変更時刻。

--id string

    このパイプラインの一意識別子。

--json JSON

    要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path。

--name string

    このパイプラインのわかりやすい識別子。

--photon

    このパイプラインに対して Photon が有効になっているかどうか。

--pipeline-id string

    このパイプラインの一意識別子。

--schema string

    テーブルの読み取りまたはパブリッシュ先の既定のスキーマ (データベース)。

--serverless

    このパイプラインに対してサーバーレス コンピューティングが有効になっているかどうか。

--storage string

    チェックポイントとテーブルを格納するための DBFS ルート ディレクトリ。

--target string

    このパイプラインにテーブルを追加するターゲット スキーマ (データベース)。

グローバル フラグ

databricks パイプラインの get-permission-levels

パイプラインのアクセス許可レベルを取得します。

databricks pipelines get-permission-levels PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    アクセス許可を取得または管理するパイプライン。

オプション

グローバル フラグ

databricks パイプラインの get-permissions

パイプラインのアクセス許可を取得します。 パイプラインは、ルート オブジェクトからアクセス許可を継承できます。

databricks pipelines get-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    アクセス許可を取得または管理するパイプライン。

オプション

グローバル フラグ

databricks パイプラインの set-permissions

パイプラインのアクセス許可を設定します。

オブジェクトに対する権限を設定し、既存の権限が存在する場合は置き換えます。 指定されていない場合は、すべての直接アクセス許可を削除します。 オブジェクトは、ルート オブジェクトからアクセス許可を継承できます。

databricks pipelines set-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    アクセス許可を取得または管理するパイプライン。

オプション

--json JSON

    要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path。

グローバル フラグ

databricks パイプラインの権限を更新する

パイプラインのアクセス許可を更新します。 パイプラインは、ルート オブジェクトからアクセス許可を継承できます。

databricks pipelines update-permissions PIPELINE_ID [flags]

Arguments

PIPELINE_ID

    アクセス許可を取得または管理するパイプライン。

オプション

--json JSON

    要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path。

グローバル フラグ

グローバル フラグ

--debug

  デバッグ ログを有効にするかどうかを指定します。

-h または --help

    Databricks CLI、または関連コマンド グループ、または関連コマンドのヘルプの表示。

--log-file 文字列

    出力ログを書き込むファイルを表す文字列。 このフラグが指定されていない場合、既定では stderr に出力ログが書き込まれます。

--log-format 形式

    ログ形式の種類、 text 、または json。 既定値は text です。

--log-level 文字列

    ログ形式レベルを表す文字列。 指定しない場合、ログ形式レベルは無効になります。

-o, --output 型

    コマンド出力の種類( text または json)。 既定値は text です。

-p, --profile 文字列

    コマンドの実行に使用する ~/.databrickscfg ファイル内のプロファイルの名前。 このフラグが指定されていない場合は、存在する場合は、 DEFAULT という名前のプロファイルが使用されます。

--progress-format 形式

    進行状況ログを表示する形式: default、 append、 inplace、または json

-t, --target 文字列

    該当する場合は、使用するバンドル ターゲット