az synapse spark job

Synapse Spark バッチ ジョブを管理します。

コマンド

名前	説明	型	Status
az synapse spark job cancel	Spark ジョブを取り消します。	コア	GA
az synapse spark job list	すべての Spark ジョブを一覧表示します。	コア	GA
az synapse spark job show	Spark ジョブを取得します。	コア	GA
az synapse spark job submit	Spark ジョブを送信します。	コア	GA

az synapse spark job cancel

Spark ジョブを取り消します。

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

例

Spark ジョブを取り消します。

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必須のパラメーター

--livy-id

Spark ジョブの ID。

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

省略可能のパラメーター

--yes -y

確認のダイアログを表示しません。

既定値: False

グローバル パラメーター

--debug

すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告は抑制します。

--output -o

出力形式。

承認された値: json, jsonc, none, table, tsv, yaml, yamlc

既定値: json

--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。

--verbose

ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。

az synapse spark job list

すべての Spark ジョブを一覧表示します。

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

例

すべての Spark ジョブを一覧表示します。

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必須のパラメーター

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

省略可能のパラメーター

--from-index

リストの開始元のインデックスを指定する省略可能なパラメーター。

--size

返されるリストのサイズ。既定では 20 で、最大値です。

グローバル パラメーター

--debug

すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告は抑制します。

--output -o

出力形式。

承認された値: json, jsonc, none, table, tsv, yaml, yamlc

既定値: json

--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。

--verbose

ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。

az synapse spark job show

Spark ジョブを取得します。

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

例

Spark ジョブを取得します。

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必須のパラメーター

--livy-id

Spark ジョブの ID。

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

グローバル パラメーター

--debug

すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告は抑制します。

--output -o

出力形式。

承認された値: json, jsonc, none, table, tsv, yaml, yamlc

既定値: json

--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。

--verbose

ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。

az synapse spark job submit

Spark ジョブを送信します。

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--reference-files]
                            [--tags]

例

Java Spark ジョブを送信します。

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

必須のパラメーター

--executor-size

Executor のサイズ。

承認された値: Large, Medium, Small

--executors

Executor の数。

--main-definition-file

ジョブに使用されるメイン ファイルです。

--name -n

Spark ジョブ名。

--spark-pool-name

Spark プールの名前。

--workspace-name

ワークスペースの名前。

省略可能のパラメーター

--archives

アーカイブの配列。

--arguments

ジョブの省略可能な引数 (注: ファイル引数にはストレージ URI を使用してください)。

--configuration

Spark ジョブの構成。

--language

Spark ジョブの言語。

承認された値: CSharp, PySpark, Python, Scala, Spark, SparkDotNet

既定値: Scala

--main-class-name

メイン定義ファイル内の完全修飾識別子またはメイン クラス。

--reference-files

メイン定義ファイル内で参照に使用される追加ファイル。

--tags

スペース区切りのタグ: key[=value] [key[=value] ...]既存のタグをクリアするには、"" を使用します。

グローバル パラメーター

--debug

すべてのデバッグ ログを表示するようにログの詳細レベルを上げます。

--help -h

このヘルプ メッセージを表示して終了します。

--only-show-errors

エラーのみを表示し、警告は抑制します。

--output -o

出力形式。

承認された値: json, jsonc, none, table, tsv, yaml, yamlc

既定値: json

--query

JMESPath クエリ文字列。 詳細と例については、http://jmespath.org/ をご覧ください。

--subscription

サブスクリプションの名前または ID。 az account set -s NAME_OR_ID を使用して、既定のサブスクリプションを構成できます。

--verbose

ログの詳細レベルを上げます。 詳細なデバッグ ログを表示するには --debug を使います。