Update-AzSynapseSparkPool

  • Riferimento
Modulo:
Az.Synapse

Aggiornamenti un pool di Apache Spark in Azure Synapse Analytics.

Sintassi

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Descrizione

Il cmdlet Update-AzSynapseSparkPool aggiorna un pool di Apache Spark in Azure Synapse Analytics.

Nota

Se il -SparkVersion parametro viene usato per aggiornare la versione del runtime di Synapse Spark, assicurarsi che il pool di Spark non abbia librerie o pacchetti personalizzati collegati. Per altri dettagli, vedere Migrazione tra versioni di Apache Spark.

Esempio

Esempio 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics.

Esempio 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics tramite pipeline.

Esempio 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics tramite pipeline.

Esempio 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics con ID risorsa.

Esempio 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Questo comando abilita la scalabilità automatica per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Questo comando disabilita la scalabilità automatica per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Questo comando abilita la sospensione automatica per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Questo comando disabilita la sospensione automatica per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Questo comando abilita l'allocazione dinamica dell'executor e specifica il numero minimo di executor e il numero massimo di executor per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Questo comando disabilita l'allocazione dinamica dell'executor per un pool di Apache Spark in Azure Synapse Analytics.

Esempio 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Il primo comando recupera i pacchetti dell'area di lavoro. Il secondo comando collega questi pacchetti dell'area di lavoro a un pool di Apache Spark in Azure Synapse Analytics.

Esempio 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Il primo comando recupera i pacchetti dell'area di lavoro denominati ContosoPackage. Il secondo comando rimuove il pacchetto dell'area di lavoro da un pool di Apache Spark in Azure Synapse Analytics.

Esempio 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Il primo comando recupera un pool di Apache Spark in Azure Synapse Analytics. Il secondo comando rimuove tutti i pacchetti dell'area di lavoro collegati al pool di Apache Spark.

Esempio 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Il primo comando recupera i pacchetti disponibili nell'area di lavoro. Il secondo gruppo di comandi recupera il pool di spark per ottenere i pacchetti attualmente collegati a questo pool e rimuove tutte le versioni del pacchetto a partire new_package- dall'elenco recuperato. La nuova versione del pacchetto viene quindi aggiunta a questo elenco. Nel terzo gruppo di comandi l'elenco di pacchetti, che contiene solo i nomi dei pacchetti, viene tranformato in un elenco di pacchetti dell'area di lavoro filtrando l'elenco delle workspace_packages disponibili di conseguenza e quindi collegato al pool di Spark.

Esempio 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics e specifica una configurazione Spark per il pool di Spark.

Esempio 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Questo comando aggiorna un pool di Apache Spark in Azure Synapse Analytics, imposta NodeSize su small per il pool di spark e forza l'arresto di tutti i processi in esecuzione nel pool di Spark per applicare questa nuova impostazione.

Esempio 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Il primo comando recupera un pool di Apache Spark in Azure Synapse Analytics. Il secondo comando rimuove tutti i pacchetti dell'area di lavoro collegati al pool di Apache Spark e forza l'arresto di tutti i processi in esecuzione nel pool di Spark per applicare questa nuova impostazione.

Esempio 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Questo comando abilita il calcolo isolato e specifica le dimensioni del nodo per XXXLarge(80 vCPU / 504 GB) per un pool di Apache Spark in Azure Synapse Analytics.

Parametri

-AsJob

Eseguire il cmdlet in background

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Numero di minuti di inattività. Questo parametro può essere specificato quando è abilitata la sospensione automatica. Il valore predefinito sarà [15] se non viene specificato manualmente.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Numero massimo di nodi da allocare nel pool di Spark specificato. Questo parametro deve essere specificato quando la scalabilità automatica è abilitata.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Numero minimo di nodi da allocare nel pool di Spark specificato. Questo parametro deve essere specificato quando la scalabilità automatica è abilitata.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Richiede conferma prima di eseguire il cmdlet.

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Le credenziali, l’account, il tenant e la sottoscrizione usati per comunicare con Azure.

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Indica se la sospensione automatica deve essere abilitata.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Indica se è necessario abilitare la scalabilità automatica

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Indica se l'allocazione dell'executor dinamico deve essere abilitata.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

L'opzione Isola calcolo è disponibile solo con le dimensioni del nodo XXXLarge (80 vCPU/504 GB). L'abilitazione di questa opzione offre l'isolamento per il calcolo apache Spark per i servizi non attendibili. Il calcolo isolato costa la stessa macchina virtuale non isolata con le stesse dimensioni. Se si prevede di abilitare Isolated Compute per il pool di spark, assicurarsi che l'area di lavoro di Synapse venga creata in un'area di calcolo isolata supportata, fare riferimento a questo documento per altri dettagli: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Indica se arrestare i processi in esecuzione nel pool Big Data.

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Oggetto di input del pool di Spark, in genere passato attraverso la pipeline.

Type:PSSynapseSparkPool
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

File di configurazione dell'ambiente ("pip freeze").

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Numero massimo di executor da allocare nel pool di Spark specificato. Questo parametro può essere specificato quando DynamicExecutorAllocation è abilitato. Il valore deve essere compreso tra 1 (inclusi) e maximumNodeCount (esclusivo). Se non viene specificato manualmente, il valore predefinito sarà 2.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Numero minimo di executor da allocare nel pool di Spark specificato. Questo parametro può essere specificato quando DynamicExecutorAllocation è abilitato. Il valore deve essere compreso tra 1 (inclusi) e maxExecutors (esclusivo). Se non viene specificato manualmente, il valore predefinito sarà 1.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Nome del pool di Spark synapse.

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Numero di nodi da allocare nel pool di Spark specificato.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Numero di core e memoria da usare per i nodi allocati nel pool di Spark specificato. Questo parametro deve essere specificato quando la scalabilità automatica è disabilitata

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Pacchetti dell'area di lavoro.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

L'azione pacchetto deve essere specificata quando si aggiunge o rimuove un pacchetto dell'area di lavoro da un pool di Apache Spark.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Accepted values:Add, Remove, Set
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Nome del gruppo di risorse.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Identificatore della risorsa del pool di Spark di Synapse.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Configurazione di Apache Spark. Quando un processo viene inviato al pool, verrà fatto riferimento alle proprietà specificate nella configurazione selezionata.

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Versione di Apache Spark. Valori consentiti: 3.1,3.2,3.3

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Stringa, dizionario di stringhe di tag associati alla risorsa.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Mostra gli effetti dell'esecuzione del cmdlet. Il cmdlet non viene eseguito.

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Nome dell'area di lavoro di Synapse.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

oggetto di input dell'area di lavoro, in genere passato attraverso la pipeline.

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

Input

PSSynapseWorkspace

PSSynapseSparkPool

Output

PSSynapseSparkPool