az synapse spark pool
Spark プールを管理します。
コマンド
| 名前 | 説明 | 型 | 状態 |
|---|---|---|---|
| az synapse spark pool create |
Spark プールを作成します。 |
Core | GA |
| az synapse spark pool delete |
Spark プールを削除します。 |
Core | GA |
| az synapse spark pool list |
すべての Spark プールを一覧表示します。 |
Core | GA |
| az synapse spark pool show |
Spark プールを取得します。 |
Core | GA |
| az synapse spark pool update |
Spark プールを更新します。 |
Core | GA |
| az synapse spark pool wait |
Spark プールの条件が満たされるまで、CLI を待機状態にします。 |
Core | GA |
az synapse spark pool create
Spark プールを作成します。
az synapse spark pool create --name
--node-count
--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
--resource-group
--spark-version
--workspace-name
[--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--no-wait]
[--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
[--spark-config-file-path]
[--spark-events-folder]
[--spark-log-folder]
[--tags]
例
Spark プールを作成します。
az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'
必須のパラメーター
Spark プールの名前。
ノードの数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Node Arguments |
ビッグ データ プール内の各ノードが持つコンピューティング能力のレベル。.
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Node Arguments |
| 指定可能な値: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
リソース グループの名前。
az configure --defaults group=<name>を使用して既定のグループを構成できます。
サポートされている Spark バージョンは 2.4 になりました。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Component Version Arguments |
ワークスペース名。
オプションのパラメーター
次のパラメーターは省略可能ですが、コマンドを正常に実行するには、状況に応じて 1 つ以上が必要になる場合があります。
単位が分の遅延時間。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoPause Arguments |
自動一時停止を有効にするフラグ。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoPause Arguments |
| 指定可能な値: | false, true |
自動スケールを有効にするフラグ。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoScale Arguments |
| 指定可能な値: | false, true |
動的実行プログラムの割り当てが有効かどうかを示します。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | DynamicExecutor Arguments |
| 指定可能な値: | false, true |
割り当てられた Executor の最大数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | DynamicExecutor Arguments |
最大ノード数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoScale Arguments |
割り当てられた Executor の最小数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | DynamicExecutor Arguments |
最小ノード数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoScale Arguments |
実行時間の長い操作が完了するまで待つ必要はありません。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
ビッグ データ プールが提供するノードの種類。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Node Arguments |
| 規定値: | MemoryOptimized |
| 指定可能な値: | HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None |
Spark プールのプロパティ構成ファイルの絶対パス。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Environment Configuration Arguments |
Spark イベント フォルダー。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Default Folder Arguments |
| 規定値: | /events |
既定の Spark ログ フォルダー。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Default Folder Arguments |
| 規定値: | /logs |
スペース区切りのタグ: key[=value] [key[=value] ...]既存のタグをクリアするには、"" を使用します。
グローバル パラメーター
ログの詳細度を上げて、すべてのデバッグ ログを表示します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告を抑制します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
出力フォーマット。
| プロパティ | 値 |
|---|---|
| 規定値: | json |
| 指定可能な値: | json, jsonc, none, table, tsv, yaml, yamlc |
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。
サブスクリプションの名前または ID。
az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。
ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
az synapse spark pool delete
Spark プールを削除します。
az synapse spark pool delete [--ids]
[--name]
[--no-wait]
[--resource-group]
[--subscription]
[--workspace-name]
[--yes]
例
Spark プールを削除します。
az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg
オプションのパラメーター
次のパラメーターは省略可能ですが、コマンドを正常に実行するには、状況に応じて 1 つ以上が必要になる場合があります。
1 つ以上のリソース ID (スペース区切り)。 これは、'Resource Id' 引数のすべての情報を含む完全なリソース ID である必要があります。 --ids または他の 'Resource Id' 引数を指定する必要があります。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
Spark プールの名前。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
実行時間の長い操作が完了するまで待つ必要はありません。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
リソース グループの名前。
az configure --defaults group=<name>を使用して既定のグループを構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
サブスクリプションの名前または ID。
az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
ワークスペース名。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
確認を求めないでください。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
グローバル パラメーター
ログの詳細度を上げて、すべてのデバッグ ログを表示します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告を抑制します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
出力フォーマット。
| プロパティ | 値 |
|---|---|
| 規定値: | json |
| 指定可能な値: | json, jsonc, none, table, tsv, yaml, yamlc |
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。
ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
az synapse spark pool list
すべての Spark プールを一覧表示します。
az synapse spark pool list --resource-group
--workspace-name
例
すべての Spark プールを一覧表示します。
az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg
必須のパラメーター
リソース グループの名前。
az configure --defaults group=<name>を使用して既定のグループを構成できます。
ワークスペース名。
グローバル パラメーター
ログの詳細度を上げて、すべてのデバッグ ログを表示します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告を抑制します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
出力フォーマット。
| プロパティ | 値 |
|---|---|
| 規定値: | json |
| 指定可能な値: | json, jsonc, none, table, tsv, yaml, yamlc |
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。
サブスクリプションの名前または ID。
az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。
ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
az synapse spark pool show
Spark プールを取得します。
az synapse spark pool show [--ids]
[--name]
[--resource-group]
[--subscription]
[--workspace-name]
例
Spark プールを取得します。
az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg
オプションのパラメーター
次のパラメーターは省略可能ですが、コマンドを正常に実行するには、状況に応じて 1 つ以上が必要になる場合があります。
1 つ以上のリソース ID (スペース区切り)。 これは、'Resource Id' 引数のすべての情報を含む完全なリソース ID である必要があります。 --ids または他の 'Resource Id' 引数を指定する必要があります。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
Spark プールの名前。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
リソース グループの名前。
az configure --defaults group=<name>を使用して既定のグループを構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
サブスクリプションの名前または ID。
az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
ワークスペース名。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
グローバル パラメーター
ログの詳細度を上げて、すべてのデバッグ ログを表示します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告を抑制します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
出力フォーマット。
| プロパティ | 値 |
|---|---|
| 規定値: | json |
| 指定可能な値: | json, jsonc, none, table, tsv, yaml, yamlc |
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。
ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
az synapse spark pool update
Spark プールを更新します。
az synapse spark pool update [--delay]
[--enable-auto-pause {false, true}]
[--enable-auto-scale {false, true}]
[--enable-dynamic-exec {false, true}]
[--force {false, true}]
[--ids]
[--library-requirements]
[--max-executors]
[--max-node-count]
[--min-executors]
[--min-node-count]
[--name]
[--no-wait]
[--node-count]
[--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
[--package]
[--package-action {Add, Remove}]
[--resource-group]
[--spark-config-file-path]
[--subscription]
[--tags]
[--workspace-name]
例
Spark プールのタグを更新します。
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1
Spark プールの自動スケール構成を更新します。
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100
Spark プールのカスタム ライブラリを更新します。
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar
Spark プールの構成ファイルを更新します。
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'
Spark プールの動的実行プログラムの割り当て構成を更新します。
az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10
オプションのパラメーター
次のパラメーターは省略可能ですが、コマンドを正常に実行するには、状況に応じて 1 つ以上が必要になる場合があります。
単位が分の遅延時間。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoPause Arguments |
自動一時停止を有効にするフラグ。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoPause Arguments |
| 指定可能な値: | false, true |
自動スケールを有効にするフラグ。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoScale Arguments |
| 指定可能な値: | false, true |
動的実行プログラムの割り当てが有効かどうかを示します。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | DynamicExecutor Arguments |
| 指定可能な値: | false, true |
強制操作のフラグ。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
| 指定可能な値: | false, true |
1 つ以上のリソース ID (スペース区切り)。 これは、'Resource Id' 引数のすべての情報を含む完全なリソース ID である必要があります。 --ids または他の 'Resource Id' 引数を指定する必要があります。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
ライブラリ要件ファイル。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Environment Configuration Arguments |
割り当てられた Executor の最大数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | DynamicExecutor Arguments |
最大ノード数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoScale Arguments |
割り当てられた Executor の最小数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | DynamicExecutor Arguments |
最小ノード数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | AutoScale Arguments |
Spark プールの名前。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
実行時間の長い操作が完了するまで待つ必要はありません。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
ノードの数。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Node Arguments |
ビッグ データ プール内の各ノードが持つコンピューティング能力のレベル。.
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Node Arguments |
| 指定可能な値: | Large, Medium, None, Small, XLarge, XXLarge, XXXLarge |
ワークスペース パッケージ名の一覧。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Custom Libraries Arguments |
Apache Spark プールからワークスペース パッケージを追加または削除する場合は、パッケージ アクションを指定する必要があります。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Custom Libraries Arguments |
| 指定可能な値: | Add, Remove |
リソース グループの名前。
az configure --defaults group=<name>を使用して既定のグループを構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
Spark プールのプロパティ構成ファイルの絶対パス。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Environment Configuration Arguments |
サブスクリプションの名前または ID。
az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
スペース区切りのタグ: key[=value] [key[=value] ...]既存のタグをクリアするには、"" を使用します。
ワークスペース名。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
グローバル パラメーター
ログの詳細度を上げて、すべてのデバッグ ログを表示します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告を抑制します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
出力フォーマット。
| プロパティ | 値 |
|---|---|
| 規定値: | json |
| 指定可能な値: | json, jsonc, none, table, tsv, yaml, yamlc |
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。
ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
az synapse spark pool wait
Spark プールの条件が満たされるまで、CLI を待機状態にします。
az synapse spark pool wait --big-data-pool-name
[--created]
[--custom]
[--deleted]
[--exists]
[--ids]
[--interval]
[--resource-group]
[--subscription]
[--timeout]
[--updated]
[--workspace-name]
必須のパラメーター
ビッグ データ プール名。
オプションのパラメーター
次のパラメーターは省略可能ですが、コマンドを正常に実行するには、状況に応じて 1 つ以上が必要になる場合があります。
'provisioningState' が 'Succeeded' で作成されるまで待ちます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Wait Condition Arguments |
| 規定値: | False |
条件がカスタム JMESPath クエリを満たすまで待ちます。 例: provisioningState!='InProgress'、instanceView.statuses[?code=='PowerState/running']。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Wait Condition Arguments |
削除されるまで待ちます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Wait Condition Arguments |
| 規定値: | False |
リソースが存在するまで待ちます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Wait Condition Arguments |
| 規定値: | False |
1 つ以上のリソース ID (スペース区切り)。 これは、'Resource Id' 引数のすべての情報を含む完全なリソース ID である必要があります。 --ids または他の 'Resource Id' 引数を指定する必要があります。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
ポーリング間隔 (秒単位)。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Wait Condition Arguments |
| 規定値: | 30 |
リソース グループの名前。
az configure --defaults group=<name>を使用して既定のグループを構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
サブスクリプションの名前または ID。
az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
最大待機時間 (秒単位)。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Wait Condition Arguments |
| 規定値: | 3600 |
provisioningState が 'Succeeded' で更新されるまで待ちます。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Wait Condition Arguments |
| 規定値: | False |
ワークスペース名。
| プロパティ | 値 |
|---|---|
| パラメーター グループ: | Resource Id Arguments |
グローバル パラメーター
ログの詳細度を上げて、すべてのデバッグ ログを表示します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
このヘルプ メッセージを表示して終了します。
エラーのみを表示し、警告を抑制します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |
出力フォーマット。
| プロパティ | 値 |
|---|---|
| 規定値: | json |
| 指定可能な値: | json, jsonc, none, table, tsv, yaml, yamlc |
JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。
ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。
| プロパティ | 値 |
|---|---|
| 規定値: | False |