az synapse spark job

Synapse Spark バッチ ジョブを管理します。

コマンド

名前	説明	型	状態
az synapse spark job cancel	Spark ジョブを取り消します。	コア	GA
az synapse spark job list	すべての Spark ジョブを一覧表示します。	コア	GA
az synapse spark job show	Spark ジョブを取得します。	コア	GA
az synapse spark job submit	Spark ジョブを送信します。	コア	GA

az synapse spark job cancel

Spark ジョブを取り消します。

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

例

Spark ジョブを取り消します。

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必須のパラメーター

--livy-id

Spark ジョブの ID。

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

省略可能のパラメーター

--yes -y

確認を求めないでください。

規定値: False

グローバル パラメーター

--debug

ログの詳細度を上げて、すべてのデバッグ ログを表示します。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告を抑制します。

--output -o

出力フォーマット。

指定可能な値: json, jsonc, none, table, tsv, yaml, yamlc

規定値: json

--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。

--verbose

ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。

az synapse spark job list

すべての Spark ジョブを一覧表示します。

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

例

すべての Spark ジョブを一覧表示します。

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必須のパラメーター

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

省略可能のパラメーター

--from-index

リストの開始元のインデックスを指定する省略可能なパラメーター。

--size

返されるリストのサイズ。既定では 20 で、最大値です。

グローバル パラメーター

--debug

ログの詳細度を上げて、すべてのデバッグ ログを表示します。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告を抑制します。

--output -o

出力フォーマット。

指定可能な値: json, jsonc, none, table, tsv, yaml, yamlc

規定値: json

--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。

--verbose

ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。

az synapse spark job show

Spark ジョブを取得します。

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

例

Spark ジョブを取得します。

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必須のパラメーター

--livy-id

Spark ジョブの ID。

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

グローバル パラメーター

--debug

ログの詳細度を上げて、すべてのデバッグ ログを表示します。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告を抑制します。

--output -o

出力フォーマット。

指定可能な値: json, jsonc, none, table, tsv, yaml, yamlc

規定値: json

--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。

--verbose

ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。

az synapse spark job submit

Spark ジョブを送信します。

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

例

Java Spark ジョブを送信します。

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

必須のパラメーター

--executor-size

Executor のサイズ。

指定可能な値: Large, Medium, Small

--executors

Executor の数。

--main-definition-file

ジョブに使用されるメイン ファイル。

--name -n

Spark ジョブ名。

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

省略可能のパラメーター

--archives

アーカイブの配列。

--arguments

ジョブの省略可能な引数 (注: ファイル引数にはストレージ URI を使用してください)。

--configuration

Spark ジョブの構成。

--language

Spark ジョブの言語。

指定可能な値: CSharp, PySpark, Python, Scala, Spark, SparkDotNet

規定値: Scala

--main-class-name

完全修飾識別子、またはメイン定義ファイル内にあるメイン クラス。

--python-files

メインの Python 定義ファイルの再防御に使用されるファイルの配列。 たとえば、カスタム whl ファイルやカスタム Python ファイルなどがあります。 az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2などの複数のファイルを渡すことができます。

--reference-files

メイン定義ファイルの参照に使用される追加のファイル。

--tags

スペース区切りのタグ: key[=value] [key[=value] ...]既存のタグをクリアするには、"" を使用します。

グローバル パラメーター

--debug

ログの詳細度を上げて、すべてのデバッグ ログを表示します。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告を抑制します。

--output -o

出力フォーマット。

指定可能な値: json, jsonc, none, table, tsv, yaml, yamlc

規定値: json

--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ を参照してください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_IDを使用して既定のサブスクリプションを構成できます。

--verbose

ログの詳細度を高める。 完全なデバッグ ログには --debug を使用します。