az synapse spark job

管理 Synapse Spark 批次作業。

命令

az synapse spark job cancel

取消 Spark 作業。

az synapse spark job list

列出所有 Spark 作業。

az synapse spark job show

取得 Spark 作業。

az synapse spark job submit

提交 Spark 作業。

az synapse spark job cancel

取消 Spark 作業。

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

範例

取消 Spark 作業。

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必要參數

--livy-id

Spark 作業的識別碼。

--spark-pool-name

Spark 集區的名稱。

--workspace-name

工作區的名稱。

選擇性參數

--yes -y

不提示確認。

az synapse spark job list

列出所有 Spark 作業。

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

範例

列出所有 Spark 作業。

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必要參數

--spark-pool-name

Spark 集區的名稱。

--workspace-name

工作區的名稱。

選擇性參數

--from-index

選擇性參數,指定清單應該從哪個索引開始。

--size

傳回清單的大小。根據預設,它是 20,而且是最大值。

az synapse spark job show

取得 Spark 作業。

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

範例

取得 Spark 作業。

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必要參數

--livy-id

Spark 作業的識別碼。

--spark-pool-name

Spark 集區的名稱。

--workspace-name

工作區的名稱。

az synapse spark job submit

提交 Spark 作業。

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--reference-files]
                            [--tags]

範例

提交 JAVA Spark 作業。

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

必要參數

--executor-size

執行程式大小。

接受的值: Large, Medium, Small
--executors

執行程式的數目。

--main-definition-file

用於作業的主要檔案。

--name -n

Spark 作業名稱。

--spark-pool-name

Spark 集區的名稱。

--workspace-name

工作區的名稱。

選擇性參數

--archives

封存的陣列。

--arguments

作業的選擇性引數 (注意:請使用儲存體 URI 進行檔案引數) 。

--configuration

Spark 作業的組態。

--language

Spark 作業語言。

接受的值: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
預設值: Scala
--main-class-name

主要定義檔中的完整識別碼或主要類別。

--reference-files

主要定義檔中用來作為參考的其他檔案。

--tags

空格分隔標記:key[=value] [key[=value] ...]。使用 「」 清除現有的標籤。