Update-AzSynapseSparkPool

參考

模組:: Az.Synapse

更新 Azure Synapse Analytics 中的 Apache Spark 集區。

語法

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Update-AzSynapseSparkPool Cmdlet 會更新 Azure Synapse Analytics 中的 Apache Spark 集區。

注意

-SparkVersion如果使用參數來升級 Synapse Spark 運行時間版本，請確定 Spark 集區沒有任何附加的自定義連結庫或套件。如需詳細資訊，請參閱 Apache Spark 版本之間的移轉。

範例

範例 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

此命令會更新 Azure Synapse Analytics 中的 Apache Spark 集區。

範例 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

此命令會透過管線更新 Azure Synapse Analytics 中的 Apache Spark 集區。

範例 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

此命令會透過管線更新 Azure Synapse Analytics 中的 Apache Spark 集區。

範例 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

此命令會使用資源標識碼更新 Azure Synapse Analytics 中的 Apache Spark 集區。

範例 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

此命令可在 Azure Synapse Analytics 中自動調整 Apache Spark 集區。

範例 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

此命令會停用 Azure Synapse Analytics 中 Apache Spark 集區的自動調整。

範例 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

此命令會啟用 Azure Synapse Analytics 中 Apache Spark 集區的自動暫停。

範例 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

此命令會停用 Azure Synapse Analytics 中 Apache Spark 集區的自動暫停。

範例 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

此命令會啟用動態執行程式配置，並指定 Azure Synapse Analytics 中 Apache Spark 集區的最小執行程式計數和最大執行程式計數。

範例 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

此命令會停用 Azure Synapse Analytics 中 Apache Spark 集區的動態執行程式配置。

範例 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

第一個命令會擷取工作區套件。第二個命令會將這些工作區套件連結至 Azure Synapse Analytics 中的 Apache Spark 集區。

範例 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

第一個命令會擷取名為 ContosoPackage 的工作區套件。第二個命令會從 Azure Synapse Analytics 中的 Apache Spark 集區中移除工作區套件。

範例 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

第一個命令會擷取 Azure Synapse Analytics 中的 Apache Spark 集區。第二個命令會移除連結至該 Apache Spark 集區的所有工作區套件。

範例 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

第一個命令會擷取工作區中可用的套件。第二個命令群組會擷取 Spark 集區，以取得目前連結至此集區的套件，並從擷取清單中移除所有 new_package- 版本的套件。接著會將新版本的套件新增至此清單。在套件清單包含套件清單的第三個命令群組中，會藉由據以篩選可用的workspace_packages清單，然後連結到Spark集區，以轉譯成工作區套件清單。

範例 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

此命令會更新 Azure Synapse Analytics 中的 Apache Spark 集區，並指定 Spark 集區的 Spark 組態。

範例 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

此命令會更新 Azure Synapse Analytics 中的 Apache Spark 集區、將 NodeSize 設定為小型 Spark 集區，並強制停止 Spark 集區中的任何執行中作業以套用此新設定。

範例 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

第一個命令會擷取 Azure Synapse Analytics 中的 Apache Spark 集區。第二個命令會移除連結至該 Apache Spark 集區的所有工作區套件，並強制停止 Spark 集區中的任何執行中作業以套用這個新設定。

範例 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

此命令會針對 Azure Synapse Analytics 中的 Apache Spark 集區啟用隔離計算，並將節點大小指定為 XXXLarge（80 vCPU/ 504 GB）。

參數

-AsJob

在背景執行 Cmdlet

類型:	SwitchParameter
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-AutoPauseDelayInMinute

閑置的分鐘數。啟用自動暫停時，可以指定此參數。如果未手動指定預設值，預設值將會是 [15]。

類型:	Int32
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-AutoScaleMaxNodeCount

要配置於指定 Spark 集區中的節點數目上限。啟用自動調整時，必須指定此參數。

類型:	Int32
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-AutoScaleMinNodeCount

要配置在指定 Spark 集區中的節點數目下限。啟用自動調整時，必須指定此參數。

類型:	Int32
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-Confirm

執行 Cmdlet 之前先提示您確認。

類型:	SwitchParameter
別名:	cf
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-DefaultProfile

用於與 Azure 通訊的認證、帳戶、租用戶和訂用帳戶。

類型:	IAzureContextContainer
別名:	AzContext, AzureRmContext, AzureCredential
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-EnableAutoPause

指出是否應該啟用自動暫停。

類型:	Nullable<T>[Boolean]
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-EnableAutoScale

指出是否應啟用自動調整

類型:	Nullable<T>[Boolean]
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-EnableDynamicExecutorAllocation

指出是否應該啟用動態執行程式配置。

類型:	Nullable<T>[Boolean]
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-EnableIsolatedCompute

[隔離計算] 選項僅適用於 XXXLarge （80 vCPU / 504 GB）節點大小。啟用此選項會針對不受信任的服務提供 Apache Spark 計算的隔離。隔離的計算成本與大小相同的非隔離 VM 相同。如果您預期為 Spark 集區啟用隔離計算，請確定您的 Synapse 工作區是在隔離的計算支援區域中建立的，請參閱這份檔以取得詳細數據： https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute。

類型:	Nullable<T>[Boolean]
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-ForceApplySetting

是否要停止巨量數據集區中的任何執行中作業。

類型:	SwitchParameter
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-InputObject

Spark 集區輸入物件，通常是透過管線傳遞。

類型:	PSSynapseSparkPool
Position:	Named
預設值:	None
必要:	True
接受管線輸入:	True
接受萬用字元:	False

-LibraryRequirementsFilePath

環境組態檔（“PIP 凍結” 輸出）。

類型:	String
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-MaxExecutorCount

要配置於指定 Spark 集區中的執行程式數目上限。啟用 DynamicExecutorAllocation 時，可以指定此參數。此值應該介於 1（內含）和 maximumNodeCount 之間（獨佔）。如果未手動指定，預設值會是 2。

類型:	Int32
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-MinExecutorCount

要配置於指定 Spark 集區中的執行程式數目下限。啟用 DynamicExecutorAllocation 時，可以指定此參數。此值應該介於 1（內含）和 maxExecutors 之間（獨佔）。如果未手動指定，預設值會是1。

類型:	Int32
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-Name

Synapse Spark 集區的名稱。

類型:	String
別名:	SparkPoolName
Position:	Named
預設值:	None
必要:	True
接受管線輸入:	False
接受萬用字元:	False

-NodeCount

要配置於指定 Spark 集區中的節點數目。

類型:	Int32
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-NodeSize

要用於指定 Spark 集區中配置之節點的核心和記憶體數目。停用自動調整時，必須指定此參數

類型:	String
接受的值:	Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-Package

工作區套件。

類型:	List<T>[PSSynapseWorkspacePackage]
別名:	WorkspacePackage
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-PackageAction

當您從 Apache Spark 集區新增或移除工作區套件時，必須指定套件動作。

類型:	Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
接受的值:	Add, Remove, Set
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-ResourceGroupName

資源組名。

類型:	String
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-ResourceId

Synapse Spark 集區的資源標識符。

類型:	String
Position:	Named
預設值:	None
必要:	True
接受管線輸入:	False
接受萬用字元:	False

-SparkConfiguration

Apache Spark 組態。將作業提交至集區時，將會參考所選組態中指定的屬性。

類型:	PSSparkConfigurationResource
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-SparkVersion

Apache Spark 版本。允許的值：3.1,3.2,3.3,3.4

類型:	String
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-Tag

與資源相關聯之標籤的字串、字串字典。

類型:	Hashtable
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-WhatIf

顯示執行 Cmdlet 後會發生的情況。未執行 Cmdlet。

類型:	SwitchParameter
別名:	wi
Position:	Named
預設值:	None
必要:	False
接受管線輸入:	False
接受萬用字元:	False

-WorkspaceName

Synapse 工作區的名稱。

類型:	String
Position:	Named
預設值:	None
必要:	True
接受管線輸入:	False
接受萬用字元:	False

-WorkspaceObject

工作區輸入物件，通常是透過管線傳遞。

類型:	PSSynapseWorkspace
Position:	Named
預設值:	None
必要:	True
接受管線輸入:	True
接受萬用字元:	False

輸入

PSSynapseWorkspace

PSSynapseSparkPool

輸出