Note
この情報は、Databricks CLI バージョン 0.205 以降に適用されます。 Databricks CLI は Public Preview です。
Databricks CLI の使用には、Databricks ライセンスおよび使用状況データのプロビジョニングを含むDatabricks のプライバシーに関する通知が適用されます。
clusters 内の コマンド グループを使用すると、クラスターを作成、開始、編集、一覧表示、終了、および削除できます。
Databricks クラスターは、運用 ETL パイプライン、ストリーミング分析、アドホック分析、機械学習など、データ エンジニアリング、データ サイエンス、データ分析のワークロードを実行する一連の計算リソースと構成です。 クラシック コンピューティングの概要を参照してください。
Important
Databricks は、終了したクラスターのクラスター構成情報を 30 日間保持します。 30 日を超えて終了した後も、万能クラスター構成を保持するには、管理者はクラスターをクラスターの一覧にピン留めできます。
databricks クラスターの所有者変更
クラスターの所有者を変更します。 この操作を実行するには、管理者である必要があり、クラスターを終了する必要があります。 サービス プリンシパル アプリケーション ID は、owner_usernameの引数として指定できます。
databricks clusters change-owner CLUSTER_ID OWNER_USERNAME [flags]
Arguments
CLUSTER_ID
クラスター ID。
OWNER_USERNAME
この RPC の後のcluster_idの新しい所有者。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
databricks クラスターの作成
新しいクラスターを作成します。 このコマンドは、必要に応じてクラウド プロバイダーから新しいインスタンスを取得します。 このコマンドは非同期です。返されたcluster_idを使用してクラスターの状態をポーリングできます。 このコマンドが戻ると、クラスターは保留中の状態になります。 クラスターは、RUNNING 状態になると使用可能になります。 Databricks は、クラウド プロバイダーの制限 (アカウント制限、スポット価格など) や一時的なネットワークの問題により、要求されたノードの一部を取得できない場合があります。
Databricks が要求されたオンデマンド ノードの少なくとも 85% を取得した場合、クラスターの作成は成功します。 それ以外の場合、クラスターは有益なエラー メッセージで終了します。
Databricks では、クラスターの JSON 定義を最初から作成するのではなく、 コンピューティング作成 UI に入力してから、生成された JSON 定義を UI からコピーすることをお勧めします。
databricks clusters create SPARK_VERSION [flags]
Arguments
SPARK_VERSION
クラスターの Spark バージョン (13.3.x-scala2.12 など)。 使用可能な Spark バージョンの一覧は、 使用可能な Spark バージョンの一覧表示 API を使用して取得できます。
オプション
--apply-policy-default-values
true に設定すると、省略されたフィールドに対してポリシーの固定値と既定値が使用されます。
--autotermination-minutes int
この時間内に非アクティブになったクラスターは、数分後に自動的に終了します。
--cluster-name string
ユーザーによって要求されたクラスター名。
--data-security-mode DataSecurityMode
データ セキュリティ モードは、クラスターからデータにアクセスするときに使用するデータ ガバナンス モデルを決定します。 サポートされる値: DATA_SECURITY_MODE_AUTO、 DATA_SECURITY_MODE_DEDICATED、 DATA_SECURITY_MODE_STANDARD、 LEGACY_PASSTHROUGH、 LEGACY_SINGLE_USER、 LEGACY_SINGLE_USER_STANDARD、 LEGACY_TABLE_ACL、 NONE、 SINGLE_USER、 USER_ISOLATION
--driver-instance-pool-id string
クラスターのドライバーが属するインスタンス プールのオプションの ID。
--driver-node-type-id string
Spark ドライバーのノードの種類。
--enable-elastic-disk
ローカル ストレージの自動スケール: 有効にすると、Spark ワーカーのディスク領域が不足しているときに、このクラスターによって追加のディスク領域が動的に取得されます。
--enable-local-disk-encryption
クラスター VM のローカル ディスクで LUKS を有効にするかどうか。
--instance-pool-id string
クラスターが属するインスタンス プールの省略可能な ID。
--is-single-node
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
--kind Kind
このコンピューティング仕様で説明されているコンピューティングの種類。 サポートされる値: CLASSIC_PREVIEW
--no-wait
RUNNING状態到達を待つ必要はない
--node-type-id string
このフィールドは、単一の値を通じて使用されるリソースをこのクラスターのそれぞれの Spark ノードにエンコードします。
--num-workers int
このクラスターに属する worker ノードの数。
--policy-id string
クラスターの作成に使用されるクラスター ポリシーの ID (該当する場合)。
--runtime-engine RuntimeEngine
クラスターのランタイム エンジン (標準または Photon) を決定します。 サポートされる値: NULL、PHOTON、STANDARD
--single-user-name string
data_security_modeが SINGLE_USERされている場合は、単一のユーザー名。
--timeout duration
RUNNING 状態に達するまでの最大時間 (既定は 20 m0s)
--use-ml-runtime
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。
databricksのクラスターを削除
指定した ID でクラスターを終了します。 クラスターは非同期的に削除されます。 終了が完了すると、クラスターは TERMINATED 状態になります。 クラスターが既に TERMINATING または TERMINATED 状態の場合、何も起こりません。
databricks clusters delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
終了するクラスター。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
--no-wait
TERMINATED状態に達するまで待つ必要はありません
--timeout duration
TERMINATED状態に達するまでの最大時間 (既定値は 20m0 秒)
databricks クラスター編集
指定された属性とサイズに一致するようにクラスターの構成を更新します。 クラスターは、RUNNING または TERMINATED 状態の場合に更新できます。
クラスターが RUNNING 状態の間に更新されると、新しい属性を有効にするために再起動されます。
TERMINATED 状態の間にクラスターが更新された場合、クラスターは TERMINATED のままです。 次にクラスター/開始 API の使用を開始すると、新しい属性が有効になります。 他の状態のクラスターを更新しようとすると、INVALID_STATEエラー コードで拒否されます。
Databricks ジョブ サービスによって作成されたクラスターは編集できません。
databricks clusters edit CLUSTER_ID SPARK_VERSION [flags]
Arguments
CLUSTER_ID
クラスターの ID
SPARK_VERSION
クラスターの Spark バージョン (13.3.x-scala2.12 など)。 使用可能な Spark バージョンの一覧は、 使用可能な Spark バージョンの一覧表示 API を使用して取得できます。
オプション
--apply-policy-default-values
省略されたフィールドには、ポリシーの固定値と既定値を使用します。
--autotermination-minutes int
クラスターが指定された分数間非アクティブだった場合、自動的に終了します。
--cluster-name string
ユーザーによって要求されたクラスター名。
--data-security-mode DataSecurityMode
データ セキュリティ モードは、クラスターからデータにアクセスするときに使用するデータ ガバナンス モデルを決定します。 サポートされる値: DATA_SECURITY_MODE_AUTO、 DATA_SECURITY_MODE_DEDICATED``, DATA_SECURITY_MODE_STANDARD、 LEGACY_PASSTHROUGH、 LEGACY_SINGLE_USER、 LEGACY_SINGLE_USER_STANDARD、 LEGACY_TABLE_ACL、 NONE、 SINGLE_USER、 USER_ISOLATION
--driver-instance-pool-id string
クラスターのドライバーが属するインスタンス プールのオプションの ID。
--driver-node-type-id string
Spark ドライバーのノードの種類。
--enable-elastic-disk
ローカル ストレージの自動スケール: 有効にすると、Spark ワーカーのディスク領域が不足しているときに、このクラスターによって追加のディスク領域が動的に取得されます。
--enable-local-disk-encryption
クラスター VM のローカル ディスクで LUKS を有効にするかどうか。
--instance-pool-id string
クラスターが属するインスタンス プールの省略可能な ID。
--is-single-node
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
--kind Kind
このコンピューティング仕様で説明されているコンピューティングの種類。 サポートされる値: CLASSIC_PREVIEW
--no-wait
RUNNING 状態に達するのを待たないでください
--node-type-id string
このフィールドは、単一の値を通じて使用されるリソースをこのクラスターのそれぞれの Spark ノードにエンコードします。
--num-workers int
このクラスターに属する worker ノードの数。
--policy-id string
クラスターの作成に使用されるクラスター ポリシーの ID (該当する場合)。
--runtime-engine RuntimeEngine
クラスターのランタイム エンジン (標準または Photon) を決定します。 サポートされる値: NULL、PHOTON、STANDARD
--single-user-name string
data_security_modeがSINGLE_USERされている場合は、単一のユーザー名。
--timeout duration
RUNNING 状態に達するまでの最大時間 (既定は 20 m0s)
--use-ml-runtime
このフィールドは、kind = CLASSIC_PREVIEWの場合にのみ使用できます。
databricks クラスターイベント
クラスターのアクティビティに関するイベントを一覧表示します。 この API はページ分割されています。 さらに読み取るイベントがある場合、応答には、イベントの次のページを要求するために必要なすべてのパラメーターが含まれます。
databricks clusters events CLUSTER_ID [flags]
Arguments
CLUSTER_ID
イベントに関する情報を取得するクラスターの ID。
オプション
--end-time int
エポックミリ秒単位の終了時刻。
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
--limit int
非推奨: 代わりにpage_tokenをpage_sizeと組み合わせて使用してください。
--offset int
非推奨: 代わりにpage_tokenをpage_sizeと組み合わせて使用してください。
--order GetEventsOrder
イベントを一覧表示する順序。 サポートされる値: ASC、DESC
--page-size int
イベントのページに含めるイベントの最大数。
--page-token string
前の要求から返されたnext_page_tokenまたはprev_page_tokenを使用して、イベントの次のページまたは前のページをそれぞれ一覧表示します。
--start-time int
エポックミリ秒単位の開始時刻。
databricks クラスターの取得
識別子を指定してクラスターの情報を取得します。 クラスターは、実行中、または終了してから最大 60 日後に記述できます。
databricks clusters get CLUSTER_ID [flags]
Arguments
CLUSTER_ID
情報を取得するクラスター。
オプション
databricks クラスターの一覧
ピン留めされたすべてのクラスターとアクティブなクラスター、および過去 30 日以内に終了したすべてのクラスターに関する情報を一覧表示します。 この期間より前に終了したクラスターは含まれません。
databricks clusters list [flags]
Arguments
None
オプション
--cluster-sources []string
ソースでクラスターをフィルターする
--cluster-states []string
状態でクラスターをフィルタリングする
--is-pinned
ピン留め状態に基づいてクラスターをフィルターする
--page-size int
このフィールドを使用して、サーバーから返される結果の最大数を指定します。
--page-token string
前の要求から返されたnext_page_tokenまたはprev_page_tokenを使用して、クラスターの次のページまたは前のページをそれぞれ一覧表示します。
--policy-id string
ポリシー ID でクラスターをフィルター処理する
databricks クラスターの list-node-types
サポートされている Spark ノードの種類を一覧表示します。 これらのノードの種類を使用して、クラスターを起動できます。
databricks clusters list-node-types [flags]
Arguments
None
オプション
databricks クラスターの list-zones
クラスターを作成できる可用性ゾーンを一覧表示します (たとえば、us-west-2a)。 これらのゾーンを使用してクラスターを起動できます。
databricks clusters list-zones [flags]
Arguments
None
オプション
databricks クラスターの永続的な削除
クラスターを完全に削除します。 このクラスターは終了し、リソースは非同期的に削除されます。
さらに、ユーザーは完全に削除されたクラスターをクラスター一覧に表示しなくなり、API ユーザーは完全に削除されたクラスターに対してアクションを実行できなくなります。
databricks clusters permanent-delete CLUSTER_ID [flags]
Arguments
CLUSTER_ID
削除するクラスター。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
databricks クラスターのピン留め
クラスターをピン留めして、クラスターが常に ListClusters API によって返されるようにします。 既にピン留めされているクラスターをピン留めしても効果はありません。 この API は、ワークスペース管理者のみが呼び出すことができます。
databricks clusters pin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
クラスター ID。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
databricks クラスターのサイズ変更
必要な数のワーカーを持つクラスターのサイズを変更します。 クラスターが RUNNING 状態でない限り、これは失敗します。
databricks clusters resize CLUSTER_ID [flags]
Arguments
CLUSTER_ID
リサイズされるクラスター。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
--no-wait
RUNNING状態到達を待つ必要はない
--num-workers int
このクラスターに属する worker ノードの数。
--timeout duration
RUNNING 状態に達するまでの最大時間 (既定は 20m0s)
databricks クラスターの再起動
指定した ID のクラスターを再起動します。 クラスターが現在 RUNNING 状態でない場合、何も起こりません。
databricks clusters restart CLUSTER_ID [flags]
Arguments
CLUSTER_ID
起動予定のクラスター。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
--no-wait
RUNNING状態到達を待つ必要はない
--restart-user string
クラスターを再起動したユーザー。
--timeout duration
RUNNING 状態に達するまでの最大時間 (既定は 20m0s)
databricks クラスターの Spark バージョン
使用可能な Spark バージョンを一覧表示します。 これらのバージョンを使用して、クラスターを起動できます。
databricks clusters spark-versions [flags]
Arguments
None
オプション
databricks クラスターの起動
指定した ID で終了したクラスターを起動します。 これは、createCluster と同様に機能します。ただし、前のクラスター ID と属性は保持されます。 - クラスターは、最後に指定したクラスター サイズで始まります。 - 前のクラスターが自動スケール クラスターの場合、現在のクラスターは最小ノード数で始まります。 - クラスターが現在 TERMINATED 状態でない場合、何も起こりません。 - ジョブを実行するために起動されたクラスターを開始できません。
databricks clusters start CLUSTER_ID [flags]
Arguments
CLUSTER_ID
起動予定のクラスター。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
--no-wait
RUNNING状態到達を待つ必要はない
--timeout duration
RUNNING 状態に達するまでの最大時間 (既定は 20m0s)
databricks クラスターのピン留めを外す
クラスターのピン留めを外して、最終的に ListClusters API からクラスターを削除できるようにします。 ピン留めされていないクラスターのピン留めを解除しても効果はありません。 この API は、ワークスペース管理者のみが呼び出すことができます。
databricks clusters unpin CLUSTER_ID [flags]
Arguments
CLUSTER_ID
クラスター ID。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
databricks クラスターのアップデート
属性とサイズの部分的なセットと一致するようにクラスターの構成を更新します。 要求本文の update_mask フィールドを使用して、更新するフィールドを示します。 クラスターは、RUNNING または TERMINATED 状態の場合に更新できます。 クラスターが RUNNING 状態の間に更新されると、新しい属性を有効にするために再起動されます。 TERMINATED 状態の間にクラスターが更新された場合、クラスターは TERMINATED のままです。 更新された属性は、クラスター開始 API を使用して次回クラスターが開始されるときに有効になります。 他の状態のクラスターを更新しようとすると、INVALID_STATEエラー コードで拒否されます。 Databricks ジョブ サービスによって作成されたクラスターは更新できません。
databricks clusters update CLUSTER_ID UPDATE_MASK [flags]
Arguments
CLUSTER_ID
クラスターの ID。
UPDATE_MASK
更新するクラスター属性とサイズ フィールドを指定するために使用します。 詳細については、https://google.aip.dev/161 を参照してください。 フィールド マスクは 1 つの文字列で、複数のフィールドをコンマで区切る必要があります (スペースなし)。 フィールド パスは、リソース オブジェクトに対する相対パスです。ドット (.) を使用してサブフィールド ( author.given_name など) を移動します。 コレクション フィールド全体のみを指定できるため、シーケンス フィールドまたはマップ フィールド内の要素の指定は許可されません。 フィールド名は、リソース フィールド名と完全に一致する必要があります。
_のフィールド マスクは、完全な置換を示します。 今後 API が変更された場合に意図しない結果が生じる可能性があるため、更新するフィールドを常に明示的に一覧表示し、 _ ワイルドカードを使用しないようにすることをお勧めします。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
--no-wait
RUNNING状態到達を待つ必要はない
--timeout duration
RUNNING 状態に達するまでの最大時間 (既定は 20m0s)
databricks クラスターの get-permission-levels
クラスターのアクセス許可レベルを取得します。
databricks clusters get-permission-levels CLUSTER_ID [flags]
Arguments
CLUSTER_ID
アクセス許可を取得または管理するクラスター。
オプション
databricks クラスターの権限取得
クラスターのアクセス許可を取得します。 クラスターは、ルート オブジェクトからアクセス許可を継承できます。
databricks clusters get-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
アクセス許可を取得または管理するクラスター。
オプション
databricks クラスターの set-permissions
クラスターのアクセス許可を設定し、既存のアクセス許可が存在する場合は置き換えます。 指定されていない場合は、すべての直接アクセス許可を削除します。 オブジェクトは、ルート オブジェクトからアクセス許可を継承できます。
databricks clusters set-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
アクセス許可を取得または管理するクラスター。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
databricks クラスターの権限更新
クラスターのアクセス許可を更新します。 クラスターは、ルート オブジェクトからアクセス許可を継承できます。
databricks clusters update-permissions CLUSTER_ID [flags]
Arguments
CLUSTER_ID
アクセス許可を取得または管理するクラスター。
オプション
--json JSON
要求本文を含む JSON ファイルに対するインライン JSON 文字列または @path
グローバル フラグ
--debug
デバッグ ログを有効にするかどうかを指定します。
-h または --help
Databricks CLI、または関連コマンド グループ、または関連コマンドのヘルプの表示。
--log-file 文字列
出力ログを書き込むファイルを表す文字列。 このフラグが指定されていない場合、既定では stderr に出力ログが書き込まれます。
--log-format 形式
ログ形式の種類、 text 、または json。 既定値は text です。
--log-level 文字列
ログ形式レベルを表す文字列。 指定しない場合、ログ形式レベルは無効になります。
-o, --output 型
コマンド出力の種類( text または json)。 既定値は text です。
-p, --profile 文字列
コマンドの実行に使用する ~/.databrickscfg ファイル内のプロファイルの名前。 このフラグが指定されていない場合は、存在する場合は、 DEFAULT という名前のプロファイルが使用されます。
--progress-format 形式
進行状況ログを表示する形式: default、 append、 inplace、または json
-t, --target 文字列
該当する場合は、使用するバンドル ターゲット