你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
New-AzSynapseSparkPool
创建 Synapse Analytics Spark 池。
语法
New-AzSynapseSparkPool
[-ResourceGroupName <String>]
-WorkspaceName <String>
-Name <String>
[-Tag <Hashtable>]
[-EnableIsolatedCompute]
-NodeSize <String>
-AutoScaleMinNodeCount <Int32>
-AutoScaleMaxNodeCount <Int32>
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
-SparkVersion <String>
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
New-AzSynapseSparkPool
[-ResourceGroupName <String>]
-WorkspaceName <String>
-Name <String>
[-Tag <Hashtable>]
-NodeCount <Int32>
[-EnableIsolatedCompute]
-NodeSize <String>
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
-SparkVersion <String>
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
New-AzSynapseSparkPool
-WorkspaceObject <PSSynapseWorkspace>
-Name <String>
[-Tag <Hashtable>]
[-EnableIsolatedCompute]
-NodeSize <String>
-AutoScaleMinNodeCount <Int32>
-AutoScaleMaxNodeCount <Int32>
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
-SparkVersion <String>
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
New-AzSynapseSparkPool
-WorkspaceObject <PSSynapseWorkspace>
-Name <String>
[-Tag <Hashtable>]
-NodeCount <Int32>
[-EnableIsolatedCompute]
-NodeSize <String>
[-EnableAutoPause]
[-AutoPauseDelayInMinute <Int32>]
[-EnableDynamicExecutorAllocation]
[-MinExecutorCount <Int32>]
[-MaxExecutorCount <Int32>]
-SparkVersion <String>
[-SparkConfiguration <PSSparkConfigurationResource>]
[-AsJob]
[-DefaultProfile <IAzureContextContainer>]
[-WhatIf]
[-Confirm]
[<CommonParameters>]
说明
New-AzSynapseSparkPool cmdlet 创建 Azure Synapse Analytics Spark 池。
示例
示例 1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small
此命令创建 Azure Synapse Analytics Spark 池。
示例 2
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small
此命令创建启用了自动缩放的 Azure Synapse Analytics Spark 池。
示例 3
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4 -NodeCount 10 -SparkVersion 2.4 -NodeSize Small
此命令创建启用了动态执行程序分配的 Azure Synapse Analytics Spark 池,并指定最小执行程序计数和最大执行程序计数。
示例 4
$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $config
此命令创建 Azure Synapse Analytics Spark 池并指定 Spark 池的 Spark 配置。
示例 5
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small
此命令通过管道创建 Azure Synapse Analytics Spark 池。
示例 6
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small
此命令创建一个通过管道启用自动缩放的 Azure Synapse Analytics Spark 池。
示例 7
$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4
此命令创建一个通过管道启用隔离计算的 Azure Synapse Analytics Spark 池。
参数
-AsJob
在后台运行 cmdlet
类型: | SwitchParameter |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-AutoPauseDelayInMinute
空闲分钟数。 启用自动暂停时,可以指定此参数。 如果未手动指定默认值,则默认值为 [15]。
类型: | Int32 |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-AutoScaleMaxNodeCount
在指定的 Spark 池中分配的最大节点数。 启用自动缩放时必须指定此参数。
类型: | Int32 |
Position: | Named |
默认值: | None |
必需: | True |
接受管道输入: | False |
接受通配符: | False |
-AutoScaleMinNodeCount
在指定的 Spark 池中分配的最小节点数。 启用自动缩放时必须指定此参数。
类型: | Int32 |
Position: | Named |
默认值: | None |
必需: | True |
接受管道输入: | False |
接受通配符: | False |
-Confirm
提示你在运行 cmdlet 之前进行确认。
类型: | SwitchParameter |
别名: | cf |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-DefaultProfile
用于与 Azure 通信的凭据、帐户、租户和订阅。
类型: | IAzureContextContainer |
别名: | AzContext, AzureRmContext, AzureCredential |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-EnableAutoPause
指示是否应启用自动暂停。
类型: | SwitchParameter |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-EnableDynamicExecutorAllocation
指示是否应启用动态执行程序分配。
类型: | SwitchParameter |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-EnableIsolatedCompute
隔离计算选项仅适用于 XXXLarge(80 vCPU/504 GB)节点大小。 启用此选项可为不受信任的服务的 Apache Spark 计算提供隔离。 独立计算成本与大小相同的非隔离 VM 相同。 如果希望为 Spark 池启用独立计算,请确保在独立的计算支持区域中创建 Synapse 工作区,请参阅本文档了解更多详细信息: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute
类型: | SwitchParameter |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-MaxExecutorCount
在指定的 Spark 池中分配的最大执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(非独占)和 maximumNodeCount(独占)之间。 如果未手动指定,则默认值为 2。
类型: | Int32 |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-MinExecutorCount
在指定的 Spark 池中分配的最小执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(含)和 maxExecutors(独占)之间。 如果未手动指定,则默认值为 1。
类型: | Int32 |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-Name
Synapse Spark 池的名称。
类型: | String |
别名: | SparkPoolName |
Position: | Named |
默认值: | None |
必需: | True |
接受管道输入: | False |
接受通配符: | False |
-NodeCount
在指定的 Spark 池中分配的节点数。
类型: | Int32 |
Position: | Named |
默认值: | None |
必需: | True |
接受管道输入: | False |
接受通配符: | False |
-NodeSize
要用于指定 Spark 池中分配的节点的核心和内存数。 禁用自动缩放时必须指定此参数
类型: | String |
接受的值: | Small, Medium, Large, XLarge, XXLarge, XXXLarge |
Position: | Named |
默认值: | None |
必需: | True |
接受管道输入: | False |
接受通配符: | False |
-ResourceGroupName
资源组名称。
类型: | String |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-SparkConfiguration
Apache Spark 配置。 将作业提交到池时,将引用所选配置中指定的属性。
类型: | PSSparkConfigurationResource |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-SparkVersion
Apache Spark 版本。 允许的值:2.4
类型: | String |
Position: | Named |
默认值: | None |
必需: | True |
接受管道输入: | False |
接受通配符: | False |
-Tag
与资源关联的标记的字符串字符串字典。
类型: | Hashtable |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-WhatIf
显示运行该 cmdlet 时会发生什么情况。 cmdlet 未运行。
类型: | SwitchParameter |
别名: | wi |
Position: | Named |
默认值: | None |
必需: | False |
接受管道输入: | False |
接受通配符: | False |
-WorkspaceName
Synapse 工作区的名称。
类型: | String |
Position: | Named |
默认值: | None |
必需: | True |
接受管道输入: | False |
接受通配符: | False |
-WorkspaceObject
工作区输入对象,通常通过管道传递。
类型: | PSSynapseWorkspace |
Position: | Named |
默认值: | None |
必需: | True |
接受管道输入: | True |
接受通配符: | False |