你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
Submit-AzSynapseSparkJob
提交 Synapse Analytics Spark 作业。
语法
Submit-AzSynapseSparkJob
-WorkspaceName <String>
-SparkPoolName <String>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] Submit-AzSynapseSparkJob
-SparkPoolObject <PSSynapseSparkPool>
-Language <String>
-Name <String>
-MainDefinitionFile <String>
[-MainClassName <String>]
[-CommandLineArgument <String[]>]
[-ReferenceFile <String[]>]
-ExecutorCount <Int32>
-ExecutorSize <String>
[-Configuration <Hashtable>]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>] 说明
Submit-AzSynapseSparkJob cmdlet 提交 Synapse Analytics Spark 作业。
示例
示例 1
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language Spark -Name WordCount_Java -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/wordcount.jar -MainClassName WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/java/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small此命令提交 Synapse Analytics Spark 作业。
示例 2
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language SparkDotNet -Name WordCount_Dotnet -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/wordcount.zip -MainExecutableFile WordCount -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.dfs.core.windows.net/samples/dotnet/wordcount/result -ExecutorCount 2 -ExecutorSize Small此命令提交 Synapse Analytics Spark .NET 作业。
示例 3
Submit-AzSynapseSparkJob -WorkspaceName ContosoWorkspace -SparkPoolName ContosoSparkPool -Language PySpark -Name WordCount_Python -MainDefinitionFile abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/wordcount.py -CommandLineArgument abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/shakespeare.txt,abfss://ContosoFileSystem@ContosoGen2Storage.blob.core.windows.net/samples/python/wordcount/result/ -ExecutorCount 2 -ExecutorSize Small此命令提交 Synapse Analytics PySpark 作业。
参数
-CommandLineArgument
作业的可选参数。 例如“--iteration 10000 --timeout 20s”
| 类型: | String[] |
| Position: | Named |
| 默认值: | None |
| 必需: | False |
| 接受管道输入: | False |
| 接受通配符: | False |
-Configuration
Spark 配置属性。
| 类型: | Hashtable |
| Position: | Named |
| 默认值: | None |
| 必需: | False |
| 接受管道输入: | False |
| 接受通配符: | False |
-Confirm
提示你在运行 cmdlet 之前进行确认。
| 类型: | SwitchParameter |
| 别名: | cf |
| Position: | Named |
| 默认值: | None |
| 必需: | False |
| 接受管道输入: | False |
| 接受通配符: | False |
-DefaultProfile
用于与 Azure 通信的凭据、帐户、租户和订阅。
| 类型: | IAzureContextContainer |
| 别名: | AzContext, AzureRmContext, AzureCredential |
| Position: | Named |
| 默认值: | None |
| 必需: | False |
| 接受管道输入: | False |
| 接受通配符: | False |
-ExecutorCount
在作业的指定 Spark 池中分配的执行程序数。
| 类型: | Int32 |
| Position: | Named |
| 默认值: | None |
| 必需: | True |
| 接受管道输入: | False |
| 接受通配符: | False |
-ExecutorSize
要用于作业的指定 Spark 池中分配的执行程序的核心和内存数。
| 类型: | String |
| 接受的值: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
| Position: | Named |
| 默认值: | None |
| 必需: | True |
| 接受管道输入: | False |
| 接受通配符: | False |
-Language
要提交的作业的语言。
| 类型: | String |
| 接受的值: | Spark, Scala, PySpark, Python, SparkDotNet, CSharp |
| Position: | Named |
| 默认值: | None |
| 必需: | True |
| 接受管道输入: | False |
| 接受通配符: | False |
-MainClassName
主定义文件中的完全限定标识符或主类。 Spark 和 .NET Spark 作业是必需的。 例如“org.apache.spark.examples.SparkPi”
| 类型: | String |
| 别名: | MainExecutableFile |
| Position: | Named |
| 默认值: | None |
| 必需: | False |
| 接受管道输入: | False |
| 接受通配符: | False |
-MainDefinitionFile
用于作业的主文件。 例如“abfss://filesystem@account.dfs.core.windows.net/mySpark.jar”
| 类型: | String |
| Position: | Named |
| 默认值: | None |
| 必需: | True |
| 接受管道输入: | False |
| 接受通配符: | False |
-Name
Spark 作业的名称。
| 类型: | String |
| Position: | Named |
| 默认值: | None |
| 必需: | True |
| 接受管道输入: | False |
| 接受通配符: | False |
-ReferenceFile
用于主定义文件中的引用的其他文件。 逗号分隔的存储 URI 列表。 例如“abfss://filesystem@account.dfs.core.windows.net/file1.txt，abfss：///filesystem@account.dfs.core.windows.netresult/”
| 类型: | String[] |
| Position: | Named |
| 默认值: | None |
| 必需: | False |
| 接受管道输入: | False |
| 接受通配符: | False |
-SparkPoolName
Synapse Spark 池的名称。
| 类型: | String |
| Position: | Named |
| 默认值: | None |
| 必需: | True |
| 接受管道输入: | False |
| 接受通配符: | False |
-SparkPoolObject
Spark 池输入对象，通常通过管道传递。
| 类型: | PSSynapseSparkPool |
| Position: | Named |
| 默认值: | None |
| 必需: | True |
| 接受管道输入: | True |
| 接受通配符: | False |
-WhatIf
显示运行该 cmdlet 时会发生什么情况。 cmdlet 未运行。
| 类型: | SwitchParameter |
| 别名: | wi |
| Position: | Named |
| 默认值: | None |
| 必需: | False |
| 接受管道输入: | False |
| 接受通配符: | False |
-WorkspaceName
Synapse 工作区的名称。
| 类型: | String |
| Position: | Named |
| 默认值: | None |
| 必需: | True |
| 接受管道输入: | False |
| 接受通配符: | False |