Sdílet prostřednictvím

Update-AzSynapseSparkPool

  • Reference
Modul:
Az.Synapse

Aktualizace fond Apache Sparku ve službě Azure Synapse Analytics.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Rutina Update-AzSynapseSparkPool aktualizuje fond Apache Spark ve službě Azure Synapse Analytics.

Poznámka:

-SparkVersion Pokud se parametr používá k upgradu verze modulu runtime Synapse Spark, ujistěte se, že fond Sparku nemá připojené vlastní knihovny ani balíčky. Další podrobnosti najdete v tématu Migrace mezi verzemi Apache Sparku.

Příklady

Příklad 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Tento příkaz aktualizuje fond Apache Sparku ve službě Azure Synapse Analytics.

Příklad 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Tento příkaz aktualizuje fond Apache Spark ve službě Azure Synapse Analytics prostřednictvím kanálu.

Příklad 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Tento příkaz aktualizuje fond Apache Spark ve službě Azure Synapse Analytics prostřednictvím kanálu.

Příklad 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Tento příkaz aktualizuje fond Apache Spark ve službě Azure Synapse Analytics pomocí ID prostředku.

Příklad 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Tento příkaz umožňuje automatické škálování pro fond Apache Spark ve službě Azure Synapse Analytics.

Příklad 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Tento příkaz zakáže automatické škálování pro fond Apache Spark ve službě Azure Synapse Analytics.

Příklad 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Tento příkaz umožňuje automatické pozastavení fondu Apache Spark ve službě Azure Synapse Analytics.

Příklad 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Tento příkaz zakáže automatické pozastavení fondu Apache Spark ve službě Azure Synapse Analytics.

Příklad 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Tento příkaz povolí přidělení dynamického exekutoru a zadá minimální počet exekutorů a maximální počet exekutorů pro fond Apache Spark ve službě Azure Synapse Analytics.

Příklad 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Tento příkaz zakáže přidělení dynamického exekutoru pro fond Apache Spark ve službě Azure Synapse Analytics.

Příklad 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

První příkaz načte balíčky pracovního prostoru. Druhý příkaz tyto balíčky pracovních prostorů pro propojení s fondem Apache Spark ve službě Azure Synapse Analytics.

Příklad 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

První příkaz načte balíčky pracovního prostoru s názvem ContosoPackage. Druhý příkaz odebere balíček pracovního prostoru z fondu Apache Spark ve službě Azure Synapse Analytics.

Příklad 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

První příkaz načte fond Apache Sparku ve službě Azure Synapse Analytics. Druhý příkaz odebere všechny balíčky pracovního prostoru, které jsou propojené s daným fondem Apache Sparku.

Příklad 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

První příkaz načte balíčky dostupné v pracovním prostoru. Druhá skupina příkazů načte fond Sparku, aby získala balíčky aktuálně propojené s tímto fondem, a odebere všechny verze balíčku počínaje načteným seznamem new_package- . Nová verze balíčku se pak přidá do tohoto seznamu. Ve třetí skupině příkazů se seznam balíčků obsahující pouze názvy balíčků přeformuluje do seznamu balíčků pracovního prostoru filtrováním seznamu dostupných workspace_packages a následně je propojen s fondem Spark.

Příklad 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Tento příkaz aktualizuje fond Apache Sparku ve službě Azure Synapse Analytics a určí konfiguraci Sparku pro fond Spark.

Příklad 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Tento příkaz aktualizuje fond Apache Sparku ve službě Azure Synapse Analytics, nastaví nodeSize na malý pro fond Sparku a vynutí zastavení všech spuštěných úloh ve fondu Spark, aby toto nové nastavení použilo.

Příklad 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

První příkaz načte fond Apache Sparku ve službě Azure Synapse Analytics. Druhý příkaz odebere všechny balíčky pracovních prostorů, které jsou propojené s daným fondem Apache Sparku, a vynutí zastavení všech spuštěných úloh ve fondu Spark, aby toto nové nastavení použilo.

Příklad 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Tento příkaz povolí izolované výpočetní prostředky a určí velikost uzlu na XXXLarge (80 vCPU / 504 GB) pro fond Apache Spark ve službě Azure Synapse Analytics.

Parametry

-AsJob

Spuštění rutiny na pozadí

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Počet minut nečinnosti Tento parametr lze zadat, pokud je povoleno automatické pozastavení. Výchozí hodnota bude [15], pokud není zadána ručně.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Maximální počet uzlů, které se mají přidělit v zadaném fondu Sparku. Tento parametr musí být zadán, pokud je povolené automatické škálování.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Minimální počet uzlů, které se mají přidělit v zadaném fondu Sparku. Tento parametr musí být zadán, pokud je povolené automatické škálování.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Před spuštěním rutiny zobrazí výzvu k potvrzení.

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Přihlašovací údaje, účet, tenant a předplatné používané ke komunikaci s Azure.

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Určuje, jestli má být povolené automatické pozastavení.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Určuje, jestli má být povolené automatické škálování.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Určuje, jestli má být povolené přidělení dynamického exekutoru.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

Možnost Izolované výpočetní prostředky je k dispozici pouze s velikostí uzlu XXXLarge (80 vCPU / 504 GB). Povolení této možnosti nabízí izolaci výpočetních prostředků Apache Sparku pro nedůvěryhodné služby. Izolované výpočetní náklady jsou stejné jako neizolovaný virtuální počítač se stejnou velikostí. Pokud očekáváte, že pro fond Sparku povolíte izolované výpočetní prostředky, ujistěte se, že je váš pracovní prostor Synapse vytvořený v izolované podporované oblasti výpočetních prostředků, další podrobnosti najdete v tomto dokumentu: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Určuje, jestli se mají zastavit všechny spuštěné úlohy ve fondu velkých objemů dat.

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Vstupní objekt fondu Sparku, obvykle předávaný kanálem.

Type:PSSynapseSparkPool
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Konfigurační soubor prostředí (výstup PIP zablokuje).

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Maximální počet exekutorů, které se mají přidělit v zadaném fondu Sparku. Tento parametr lze zadat, pokud je povolena funkce DynamicExecutorAllocation. Hodnota by měla být mezi 1 (včetně) a maximumNodeCount (exclusive). Pokud není zadán ručně, bude výchozí hodnota 2.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Minimální počet exekutorů, které se mají přidělit v zadaném fondu Sparku. Tento parametr lze zadat, pokud je povolena funkce DynamicExecutorAllocation. Hodnota by měla být mezi 1 (včetně) a maxExecutors (exkluzivní). Pokud není zadán ručně, bude výchozí hodnota 1.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Název fondu Synapse Spark.

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Počet uzlů, které se mají přidělit v zadaném fondu Sparku

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Počet jader apamětich Tento parametr musí být zadán, pokud je zakázané automatické škálování.

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Balíčky pracovního prostoru.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

Akce balíčku musí být zadána při přidání nebo odebrání balíčku pracovního prostoru z fondu Apache Spark.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Accepted values:Add, Remove, Set
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Název skupiny prostředků.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Identifikátor prostředku fondu Synapse Spark.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Konfigurace Apache Sparku Při odeslání úlohy do fondu se budou odkazovat na vlastnosti zadané ve vybrané konfiguraci.

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Verze Apache Sparku Povolené hodnoty: 3,1,3.2,3.3

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Řetězcový slovník značek přidružených k prostředku.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Zobrazuje, co by se stalo při spuštění rutiny. Rutina není spuštěna.

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Název pracovního prostoru Synapse

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

vstupní objekt pracovního prostoru, obvykle předávaný kanálem.

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

Vstupy

PSSynapseWorkspace

PSSynapseSparkPool

Výstupy

PSSynapseSparkPool