你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn

New-AzSynapseSparkPool

创建 Synapse Analytics Spark 池。

语法

New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]
New-AzSynapseSparkPool
   [-ResourceGroupName <String>]
   -WorkspaceName <String>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]
New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   [-EnableIsolatedCompute]
   -NodeSize <String>
   -AutoScaleMinNodeCount <Int32>
   -AutoScaleMaxNodeCount <Int32>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]
New-AzSynapseSparkPool
   -WorkspaceObject <PSSynapseWorkspace>
   -Name <String>
   [-Tag <Hashtable>]
   -NodeCount <Int32>
   [-EnableIsolatedCompute]
   -NodeSize <String>
   [-EnableAutoPause]
   [-AutoPauseDelayInMinute <Int32>]
   [-EnableDynamicExecutorAllocation]
   [-MinExecutorCount <Int32>]
   [-MaxExecutorCount <Int32>]
   -SparkVersion <String>
   [-SparkConfiguration <PSSparkConfigurationResource>]
   [-AsJob]
   [-DefaultProfile <IAzureContextContainer>]
   [-WhatIf]
   [-Confirm]
   [<CommonParameters>]

说明

New-AzSynapseSparkPool cmdlet 创建 Azure Synapse Analytics Spark 池。

示例

示例 1

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

此命令创建 Azure Synapse Analytics Spark 池。

示例 2

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

此命令创建启用了自动缩放的 Azure Synapse Analytics Spark 池。

示例 3

New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation -MinExecutorCount 1 -MaxExecutorCount 4  -NodeCount 10 -SparkVersion 2.4 -NodeSize Small

此命令创建启用了动态执行程序分配的 Azure Synapse Analytics Spark 池,并指定最小执行程序计数和最大执行程序计数。

示例 4

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
New-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small -SparkConfiguration $config

此命令创建 Azure Synapse Analytics Spark 池并指定 Spark 池的 Spark 配置。

示例 5

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -NodeCount 3 -SparkVersion 2.4 -NodeSize Small

此命令通过管道创建 Azure Synapse Analytics Spark 池。

示例 6

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 10 -SparkVersion 2.4 -NodeSize Small

此命令创建一个通过管道启用自动缩放的 Azure Synapse Analytics Spark 池。

示例 7

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | New-AzSynapseSparkPool -Name ContosoSparkPool -EnableIsolatedCompute -NodeSize XXXLarge -NodeCount 3 -SparkVersion 2.4

此命令创建一个通过管道启用隔离计算的 Azure Synapse Analytics Spark 池。

参数

-AsJob

在后台运行 cmdlet

类型:SwitchParameter
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-AutoPauseDelayInMinute

空闲分钟数。 启用自动暂停时,可以指定此参数。 如果未手动指定默认值,则默认值为 [15]。

类型:Int32
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-AutoScaleMaxNodeCount

在指定的 Spark 池中分配的最大节点数。 启用自动缩放时必须指定此参数。

类型:Int32
Position:Named
默认值:None
必需:True
接受管道输入:False
接受通配符:False

-AutoScaleMinNodeCount

在指定的 Spark 池中分配的最小节点数。 启用自动缩放时必须指定此参数。

类型:Int32
Position:Named
默认值:None
必需:True
接受管道输入:False
接受通配符:False

-Confirm

提示你在运行 cmdlet 之前进行确认。

类型:SwitchParameter
别名:cf
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-DefaultProfile

用于与 Azure 通信的凭据、帐户、租户和订阅。

类型:IAzureContextContainer
别名:AzContext, AzureRmContext, AzureCredential
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-EnableAutoPause

指示是否应启用自动暂停。

类型:SwitchParameter
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-EnableDynamicExecutorAllocation

指示是否应启用动态执行程序分配。

类型:SwitchParameter
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-EnableIsolatedCompute

隔离计算选项仅适用于 XXXLarge(80 vCPU/504 GB)节点大小。 启用此选项可为不受信任的服务的 Apache Spark 计算提供隔离。 独立计算成本与大小相同的非隔离 VM 相同。 如果希望为 Spark 池启用独立计算,请确保在独立的计算支持区域中创建 Synapse 工作区,请参阅本文档了解更多详细信息: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute

类型:SwitchParameter
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-MaxExecutorCount

在指定的 Spark 池中分配的最大执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(非独占)和 maximumNodeCount(独占)之间。 如果未手动指定,则默认值为 2。

类型:Int32
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-MinExecutorCount

在指定的 Spark 池中分配的最小执行程序数。 启用 DynamicExecutorAllocation 时,可以指定此参数。 该值应介于 1(含)和 maxExecutors(独占)之间。 如果未手动指定,则默认值为 1。

类型:Int32
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-Name

Synapse Spark 池的名称。

类型:String
别名:SparkPoolName
Position:Named
默认值:None
必需:True
接受管道输入:False
接受通配符:False

-NodeCount

在指定的 Spark 池中分配的节点数。

类型:Int32
Position:Named
默认值:None
必需:True
接受管道输入:False
接受通配符:False

-NodeSize

要用于指定 Spark 池中分配的节点的核心和内存数。 禁用自动缩放时必须指定此参数

类型:String
接受的值:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
默认值:None
必需:True
接受管道输入:False
接受通配符:False

-ResourceGroupName

资源组名称。

类型:String
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-SparkConfiguration

Apache Spark 配置。 将作业提交到池时,将引用所选配置中指定的属性。

类型:PSSparkConfigurationResource
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-SparkVersion

Apache Spark 版本。 允许的值:2.4

类型:String
Position:Named
默认值:None
必需:True
接受管道输入:False
接受通配符:False

-Tag

与资源关联的标记的字符串字符串字典。

类型:Hashtable
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-WhatIf

显示运行该 cmdlet 时会发生什么情况。 cmdlet 未运行。

类型:SwitchParameter
别名:wi
Position:Named
默认值:None
必需:False
接受管道输入:False
接受通配符:False

-WorkspaceName

Synapse 工作区的名称。

类型:String
Position:Named
默认值:None
必需:True
接受管道输入:False
接受通配符:False

-WorkspaceObject

工作区输入对象,通常通过管道传递。

类型:PSSynapseWorkspace
Position:Named
默认值:None
必需:True
接受管道输入:True
接受通配符:False

输入

PSSynapseWorkspace

输出

PSSynapseSparkPool