Delen via

Update-AzSynapseSparkPool

  • Referentie
Module:
Az.Synapse

Hiermee werkt u een Apache Spark-pool bij in Azure Synapse Analytics.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

De cmdlet Update-AzSynapseSparkPool werkt een Apache Spark-pool bij in Azure Synapse Analytics.

Notitie

Als de -SparkVersion parameter wordt gebruikt om de Runtime-versie van Synapse Spark bij te werken, moet u ervoor zorgen dat de Spark-pool geen gekoppelde aangepaste bibliotheken of pakketten heeft. Raadpleeg migratie tussen Apache Spark-versies voor meer informatie.

Voorbeelden

Voorbeeld 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Met deze opdracht wordt een Apache Spark-pool bijgewerkt in Azure Synapse Analytics.

Voorbeeld 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Met deze opdracht wordt een Apache Spark-pool in Azure Synapse Analytics bijgewerkt via een pijplijn.

Voorbeeld 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Met deze opdracht wordt een Apache Spark-pool in Azure Synapse Analytics bijgewerkt via een pijplijn.

Voorbeeld 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Met deze opdracht wordt een Apache Spark-pool in Azure Synapse Analytics bijgewerkt met resource-id.

Voorbeeld 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Met deze opdracht kunt u automatisch schalen voor een Apache Spark-pool in Azure Synapse Analytics.

Voorbeeld 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Met deze opdracht wordt automatisch schalen uitgeschakeld voor een Apache Spark-pool in Azure Synapse Analytics.

Voorbeeld 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Met deze opdracht kunt u automatisch onderbreken voor een Apache Spark-pool in Azure Synapse Analytics.

Voorbeeld 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Met deze opdracht wordt automatisch onderbreken uitgeschakeld voor een Apache Spark-pool in Azure Synapse Analytics.

Voorbeeld 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Met deze opdracht kunt u dynamische uitvoerdertoewijzing inschakelen en minimale aantal uitvoerders en maximum aantal uitvoerders opgeven voor een Apache Spark-pool in Azure Synapse Analytics.

Voorbeeld 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Met deze opdracht wordt dynamische uitvoerdertoewijzing uitgeschakeld voor een Apache Spark-pool in Azure Synapse Analytics.

Voorbeeld 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Met de eerste opdracht worden werkruimtepakketten opgehaald. Met de tweede opdracht worden deze werkruimtepakketten gekoppeld aan een Apache Spark-pool in Azure Synapse Analytics.

Voorbeeld 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Met de eerste opdracht worden werkruimtepakketten met de naam ContosoPackage opgehaald. Met de tweede opdracht wordt het werkruimtepakket verwijderd uit een Apache Spark-pool in Azure Synapse Analytics.

Voorbeeld 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Met de eerste opdracht wordt een Apache Spark-pool opgehaald in Azure Synapse Analytics. Met de tweede opdracht worden alle werkruimtepakketten verwijderd die zijn gekoppeld aan die Apache Spark-pool.

Voorbeeld 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Met de eerste opdracht worden de pakketten opgehaald die beschikbaar zijn in de werkruimte. Met de tweede opdrachtgroep wordt de Spark-pool opgehaald om de pakketten op te halen die momenteel aan deze pool zijn gekoppeld en worden alle versies van het pakket verwijderd die beginnen met new_package- de opgehaalde lijst. De nieuwe versie van het pakket wordt vervolgens toegevoegd aan deze lijst. In de derde groep opdrachten wordt de pakketlijst, met alleen pakketnamen, omgezet in een lijst met werkruimtepakketten door de lijst met beschikbare workspace_packages dienovereenkomstig te filteren en vervolgens aan de Spark-pool te koppelen.

Voorbeeld 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Met deze opdracht wordt een Apache Spark-pool bijgewerkt in Azure Synapse Analytics en wordt een Spark-configuratie voor de Spark-pool opgegeven.

Voorbeeld 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Met deze opdracht werkt u een Apache Spark-pool in Azure Synapse Analytics bij, stelt u NodeSize in op klein voor de spark-pool en stopt u alle actieve taken in de Spark-pool om deze nieuwe instelling toe te passen.

Voorbeeld 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Met de eerste opdracht wordt een Apache Spark-pool opgehaald in Azure Synapse Analytics. Met de tweede opdracht worden alle werkruimtepakketten verwijderd die zijn gekoppeld aan die Apache Spark-pool en worden alle actieve taken in de Spark-pool geforceerd gestopt om deze nieuwe instelling toe te passen.

Voorbeeld 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Met deze opdracht kunt u geïsoleerde berekeningen inschakelen en knooppuntgrootte opgeven voor XXXLarge(80 vCPU/504 GB) voor een Apache Spark-pool in Azure Synapse Analytics.

Parameters

-AsJob

Cmdlet op de achtergrond uitvoeren

Type:SwitchParameter
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Aantal minuten dat niet actief is. Deze parameter kan worden opgegeven wanneer automatisch onderbreken is ingeschakeld. De standaardwaarde is [15] als deze niet handmatig is opgegeven.

Type:Int32
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Maximum aantal knooppunten dat moet worden toegewezen in de opgegeven Spark-pool. Deze parameter moet worden opgegeven wanneer automatisch schalen is ingeschakeld.

Type:Int32
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Minimaal aantal knooppunten dat moet worden toegewezen in de opgegeven Spark-pool. Deze parameter moet worden opgegeven wanneer automatisch schalen is ingeschakeld.

Type:Int32
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Hiermee wordt u gevraagd om bevestiging voordat u de cmdlet uitvoert.

Type:SwitchParameter
Aliases:cf
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

De referenties, accounts, tenants en abonnementen die worden gebruikt voor communicatie met Azure.

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Hiermee wordt aangegeven of automatisch onderbreken moet worden ingeschakeld.

Type:Nullable<T>[Boolean]
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Geeft aan of automatisch schalen moet worden ingeschakeld

Type:Nullable<T>[Boolean]
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Geeft aan of dynamische uitvoerdertoewijzing moet worden ingeschakeld.

Type:Nullable<T>[Boolean]
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

De optie Compute isoleren is alleen beschikbaar met de knooppuntgrootte XXXLarge (80 vCPU/504 GB). Het inschakelen van deze optie biedt isolatie voor Apache Spark-rekenkracht voor niet-vertrouwde services. Geïsoleerde rekenkosten zijn hetzelfde als de niet-geïsoleerde VM van dezelfde grootte. Raadpleeg dit document voor meer informatie als u Isolated Compute voor spark-pool verwacht in te schakelen, of uw Synapse-werkruimte is gemaakt in een geïsoleerde regio die wordt ondersteund voor compute. https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute

Type:Nullable<T>[Boolean]
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Of u actieve taken in de big data-pool wilt stoppen.

Type:SwitchParameter
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Invoerobject van Spark-pool, meestal doorgegeven via de pijplijn.

Type:PSSynapseSparkPool
Position:Named
standaardwaarde:None
Vereist:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Omgevingsconfiguratiebestand (uitvoer PIP blokkeren).

Type:String
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Maximum aantal uitvoerders dat moet worden toegewezen in de opgegeven Spark-pool. Deze parameter kan worden opgegeven wanneer DynamicExecutorAllocation is ingeschakeld. De waarde moet liggen tussen 1 (inclusief) en maximumNodeCount (exclusief). Als deze niet handmatig is opgegeven, is de standaardwaarde 2.

Type:Int32
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Minimaal aantal uitvoerders dat moet worden toegewezen in de opgegeven Spark-pool. Deze parameter kan worden opgegeven wanneer DynamicExecutorAllocation is ingeschakeld. De waarde moet liggen tussen 1 (inclusief) en maxExecutors (exclusief). Als deze niet handmatig is opgegeven, is de standaardwaarde 1.

Type:Int32
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Naam van Synapse Spark-pool.

Type:String
Aliases:SparkPoolName
Position:Named
standaardwaarde:None
Vereist:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Het aantal knooppunten dat moet worden toegewezen in de opgegeven Spark-pool.

Type:Int32
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Het aantal kerngeheugens en het geheugen dat moet worden gebruikt voor knooppunten die zijn toegewezen in de opgegeven Spark-pool. Deze parameter moet worden opgegeven wanneer automatisch schalen is uitgeschakeld

Type:String
geaccepteerde waarden:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

De werkruimtepakketten.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

Pakketactie moet worden opgegeven wanneer u een werkruimtepakket toevoegt aan of verwijdert uit een Apache Spark-pool.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
geaccepteerde waarden:Add, Remove, Set
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Naam van de resourcegroep.

Type:String
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Resource-id van Synapse Spark-pool.

Type:String
Position:Named
standaardwaarde:None
Vereist:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Apache Spark-configuratie. Wanneer een taak wordt verzonden naar de pool, worden de eigenschappen die zijn opgegeven in de geselecteerde configuratie, verwezen.

Type:PSSparkConfigurationResource
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Apache Spark-versie. Toegestane waarden: 3.1,3.2,3.3

Type:String
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Een tekenreeks, tekenreekswoordenlijst met tags die zijn gekoppeld aan de resource.

Type:Hashtable
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Hiermee wordt weergegeven wat er zou gebeuren als u de cmdlet uitvoert. De cmdlet wordt niet uitgevoerd.

Type:SwitchParameter
Aliases:wi
Position:Named
standaardwaarde:None
Vereist:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Naam van Synapse-werkruimte.

Type:String
Position:Named
standaardwaarde:None
Vereist:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

werkruimte-invoerobject, meestal doorgegeven via de pijplijn.

Type:PSSynapseWorkspace
Position:Named
standaardwaarde:None
Vereist:True
Accept pipeline input:True
Accept wildcard characters:False

Invoerwaarden

PSSynapseWorkspace

PSSynapseSparkPool

Uitvoerwaarden

PSSynapseSparkPool