Update-AzSynapseSparkPool

  • Referenz
Modul:
Az.Synapse

Aktualisiert einen Apache Spark-Pool in Azure Synapse Analytics.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Beschreibung

Das Cmdlet Update-AzSynapseSparkPool aktualisiert einen Apache Spark-Pool in Azure Synapse Analytics.

Hinweis

Wenn der -SparkVersion Parameter verwendet wird, um die Synapse Spark-Laufzeitversion zu aktualisieren, stellen Sie sicher, dass der Spark-Pool keine benutzerdefinierten Bibliotheken oder Pakete angefügt hat. Weitere Details finden Sie in der Migration zwischen Apache Spark-Versionen .

Beispiele

Beispiel 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Dieser Befehl aktualisiert einen Apache Spark-Pool in Azure Synapse Analytics.

Beispiel 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Dieser Befehl aktualisiert einen Apache Spark-Pool in Azure Synapse Analytics über die Pipeline.

Beispiel 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Dieser Befehl aktualisiert einen Apache Spark-Pool in Azure Synapse Analytics über die Pipeline.

Beispiel 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Dieser Befehl aktualisiert einen Apache Spark-Pool in Azure Synapse Analytics mit Ressourcen-ID.

Beispiel 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Dieser Befehl ermöglicht die automatische Skalierung für einen Apache Spark-Pool in Azure Synapse Analytics.

Beispiel 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Mit diesem Befehl wird die automatische Skalierung für einen Apache Spark-Pool in Azure Synapse Analytics deaktiviert.

Beispiel 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Mit diesem Befehl wird die automatische Pause für einen Apache Spark-Pool in Azure Synapse Analytics aktiviert.

Beispiel 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Mit diesem Befehl wird die automatische Pause für einen Apache Spark-Pool in Azure Synapse Analytics deaktiviert.

Beispiel 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Dieser Befehl ermöglicht die dynamische Executorzuordnung und gibt die Min.-Executoranzahl und die maximale Ausführungsanzahl für einen Apache Spark-Pool in Azure Synapse Analytics an.

Beispiel 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Mit diesem Befehl wird die dynamische Executorzuordnung für einen Apache Spark-Pool in Azure Synapse Analytics deaktiviert.

Beispiel 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Der erste Befehl ruft Arbeitsbereichspakete ab. Der zweite Befehl verknüpft diese Arbeitsbereichspakete mit einem Apache Spark-Pool in Azure Synapse Analytics.

Beispiel 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Der erste Befehl ruft Arbeitsbereichspakete mit dem Namen ContosoPackage ab. Der zweite Befehl entfernt das Arbeitsbereichspaket aus einem Apache Spark-Pool in Azure Synapse Analytics.

Beispiel 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Der erste Befehl ruft einen Apache Spark-Pool in Azure Synapse Analytics ab. Mit dem zweiten Befehl werden alle Arbeitsbereichspakete entfernt, die mit diesem Apache Spark-Pool verknüpft sind.

Beispiel 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Der erste Befehl ruft die im Arbeitsbereich verfügbaren Pakete ab. Die zweite Befehlsgruppe ruft den Sparkpool ab, um die pakete abzurufen, die derzeit mit diesem Pool verknüpft sind, und entfernt alle Versionen des Pakets, beginnend mit new_package- der abgerufenen Liste. Die neue Version des Pakets wird dann dieser Liste hinzugefügt. In der dritten Gruppe von Befehlen wird die Paketliste, die nur Paketnamen enthält, in eine Liste der Arbeitsbereichspakete umgewandelt, indem sie die Liste der verfügbaren workspace_packages entsprechend filtern und dann mit dem Sparkpool verknüpft ist.

Beispiel 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Mit diesem Befehl wird ein Apache Spark-Pool in Azure Synapse Analytics aktualisiert und eine Spark-Konfiguration für den Spark-Pool angegeben.

Beispiel 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Mit diesem Befehl wird ein Apache Spark-Pool in Azure Synapse Analytics aktualisiert, NodeSize auf klein für den Spark-Pool festgelegt und erzwingen, dass alle ausgeführten Aufträge im Spark-Pool beendet werden, um diese neue Einstellung anzuwenden.

Beispiel 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Der erste Befehl ruft einen Apache Spark-Pool in Azure Synapse Analytics ab. Mit dem zweiten Befehl werden alle Arbeitsbereichspakete entfernt, die mit diesem Apache Spark-Pool verknüpft sind, und erzwingen, dass alle ausgeführten Aufträge im Spark-Pool beendet werden, um diese neue Einstellung anzuwenden.

Beispiel 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Dieser Befehl ermöglicht die isolierte Berechnung und die Angabe der Knotengröße für XXXLarge(80 vCPU / 504 GB) für einen Apache Spark-Pool in Azure Synapse Analytics.

Parameter

-AsJob

Cmdlet im Hintergrund ausführen

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Anzahl der Minuten im Leerlauf. Dieser Parameter kann angegeben werden, wenn die automatische Pause aktiviert ist. Der Standardwert ist [15], wenn er nicht manuell angegeben wird.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Maximale Anzahl von Knoten, die im angegebenen Spark-Pool zugewiesen werden sollen. Dieser Parameter muss angegeben werden, wenn die automatische Skalierung aktiviert ist.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Die Mindestanzahl der Knoten, die im angegebenen Spark-Pool zugewiesen werden sollen. Dieser Parameter muss angegeben werden, wenn die automatische Skalierung aktiviert ist.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Hiermit werden Sie vor der Ausführung des Cmdlets zur Bestätigung aufgefordert.

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Anmeldeinformationen, Konto, Mandant und Abonnement für die Kommunikation mit Azure

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Gibt an, ob die automatische Pause aktiviert werden soll.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Gibt an, ob die automatische Skalierung aktiviert werden soll.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Gibt an, ob die dynamische Executorzuordnung aktiviert werden soll.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

Die Option "Compute isolieren" ist nur mit der Knotengröße XXXLarge (80 vCPU/ 504 GB) verfügbar. Das Aktivieren dieser Option bietet Isolation für Apache Spark Compute für nicht vertrauenswürdige Dienste. Die Isolierte Berechnung kostet die gleiche Größe wie die nicht isolierte VM. Wenn Sie erwarten, dass isolierter Compute für Spark pool aktiviert wird, stellen Sie sicher, dass Ihr Synapse-Arbeitsbereich in einer isolierten unterstützten Computeregion erstellt wird, lesen Sie dieses Dokument, um weitere Details zu erhalten: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Gibt an, ob ausführungsaufträge im Big Data-Pool beendet werden sollen.

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Spark pool input object, usually passed through the pipeline.

Type:PSSynapseSparkPool
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Umgebungskonfigurationsdatei ("PIP fixieren" Ausgabe).

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Maximale Anzahl der im angegebenen Spark-Pool zuzuweisenden Executoren. Dieser Parameter kann angegeben werden, wenn DynamicExecutorAllocation aktiviert ist. Der Wert sollte zwischen 1 (einschließlich) und maximumNodeCount (exklusiv) liegen. Wenn sie nicht manuell angegeben wird, lautet der Standardwert 2.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Die Mindestanzahl der im angegebenen Spark-Pool zuzuweisenden Executoren. Dieser Parameter kann angegeben werden, wenn DynamicExecutorAllocation aktiviert ist. Der Wert sollte zwischen 1 (einschließlich) und maxExecutors (exklusiv) liegen. Wenn sie nicht manuell angegeben wird, lautet der Standardwert 1.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Name des Synapse Spark-Pools.

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Die Anzahl der Knoten, die im angegebenen Spark-Pool zugewiesen werden sollen.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Die Anzahl der Kerne und des Arbeitsspeichers, die für Knoten verwendet werden sollen, die im angegebenen Spark-Pool zugeordnet sind. Dieser Parameter muss angegeben werden, wenn die automatische Skalierung deaktiviert ist.

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Die Arbeitsbereichspakete.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

Die Paketaktion muss angegeben werden, wenn Sie ein Arbeitsbereichspaket aus einem Apache Spark-Pool hinzufügen oder entfernen.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Accepted values:Add, Remove, Set
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Ressourcengruppenname

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Ressourcenbezeichner des Synapse Spark-Pools.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Apache Spark-Konfiguration. Wenn ein Auftrag an den Pool übermittelt wird, werden auf die in der ausgewählten Konfiguration angegebenen Eigenschaften verwiesen.

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Apache Spark-Version. Zulässige Werte: 3,1,3,2,3.3

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Eine Zeichenfolge, ein Zeichenfolgenwörterbuch mit Tags, die der Ressource zugeordnet sind.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Zeigt, was geschieht, wenn das Cmdlet ausgeführt wird. Das Cmdlet wird nicht ausgeführt.

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Name des Synapse-Arbeitsbereichs.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

Arbeitsbereichseingabeobjekt, in der Regel durch die Pipeline übergeben.

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

Eingaben

PSSynapseWorkspace

PSSynapseSparkPool

Ausgaben

PSSynapseSparkPool