Submit-AzSynapseSparkJob
提交 Synapse Analytics Spark 作業。
語法
Submit-AzSynapseSparkJob
-WorkspaceName <String>
-SparkPoolName <String>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] Submit-AzSynapseSparkJob
-SparkPoolObject <PSSynapseSparkPool>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] Description
Submit-AzSynapseSparkJob Cmdlet 會提交 Synapse Analytics Spark 作業。
範例
範例 1
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small此命令會提交 Synapse Analytics Spark 作業。
範例 2
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small此命令會提交 Synapse Analytics Spark .NET 作業。
範例 3
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small此命令會提交 Synapse Analytics PySpark 作業。
參數
-CommandLineArgument
作業的選擇性自變數。 例如 “--iteration 10000 --timeout 20s”
| 類型: | String[] |
| Position: | Named |
| 預設值: | None |
| 必要: | False |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-Configuration
Spark 組態屬性。
| 類型: | Hashtable |
| Position: | Named |
| 預設值: | None |
| 必要: | False |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-Confirm
執行 Cmdlet 之前先提示您確認。
| 類型: | SwitchParameter |
| 別名: | cf |
| Position: | Named |
| 預設值: | None |
| 必要: | False |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-DefaultProfile
用於與 Azure 通訊的認證、帳戶、租用戶和訂用帳戶。
| 類型: | IAzureContextContainer |
| 別名: | AzContext, AzureRmContext, AzureCredential |
| Position: | Named |
| 預設值: | None |
| 必要: | False |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-ExecutorCount
要配置於作業之指定 Spark 集區中的執行程式數目。
| 類型: | Int32 |
| Position: | Named |
| 預設值: | None |
| 必要: | True |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-ExecutorSize
要用於作業之指定 Spark 集區中設定執行程式的核心和記憶體數目。
| 類型: | String |
| 接受的值: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
| Position: | Named |
| 預設值: | None |
| 必要: | True |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-Language
要提交之作業的語言。
| 類型: | String |
| 接受的值: | Spark, Scala, PySpark, Python, SparkDotNet, CSharp |
| Position: | Named |
| 預設值: | None |
| 必要: | True |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-MainClassName
主要定義檔中的完整標識碼或主要類別。 Spark 和 .NET Spark 作業的必要專案。 例如 “org.apache.spark.examples.SparkPi”
| 類型: | String |
| 別名: | MainExecutableFile |
| Position: | Named |
| 預設值: | None |
| 必要: | False |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-MainDefinitionFile
用於作業的主要檔案。 例如“abfss://filesystem@account.dfs.core.windows.net/mySpark.jar”
| 類型: | String |
| Position: | Named |
| 預設值: | None |
| 必要: | True |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-Name
Spark 作業的名稱。
| 類型: | String |
| Position: | Named |
| 預設值: | None |
| 必要: | True |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-ReferenceFile
主要定義檔中用來作為參考的其他檔案。 以逗號分隔的記憶體 URI 清單。 例如“abfss://filesystem@account.dfs.core.windows.net/file1.txt，abfss：///filesystem@account.dfs.core.windows.netresult/”
| 類型: | String[] |
| Position: | Named |
| 預設值: | None |
| 必要: | False |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-SparkPoolName
Synapse Spark 集區的名稱。
| 類型: | String |
| Position: | Named |
| 預設值: | None |
| 必要: | True |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-SparkPoolObject
Spark 集區輸入物件，通常是透過管線傳遞。
| 類型: | PSSynapseSparkPool |
| Position: | Named |
| 預設值: | None |
| 必要: | True |
| 接受管線輸入: | True |
| 接受萬用字元: | False |
-WhatIf
顯示執行 Cmdlet 後會發生的情況。 未執行 Cmdlet。
| 類型: | SwitchParameter |
| 別名: | wi |
| Position: | Named |
| 預設值: | None |
| 必要: | False |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
-WorkspaceName
Synapse 工作區的名稱。
| 類型: | String |
| Position: | Named |
| 預設值: | None |
| 必要: | True |
| 接受管線輸入: | False |
| 接受萬用字元: | False |
