Sdílet prostřednictvím

Update-AzSynapseSparkPool

  • Reference
Modul:
Az.Synapse

Aktualizuje fond Apache Spark ve službě Azure Synapse Analytics.

Syntaxe

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Rutina Update-AzSynapseSparkPool aktualizuje fond Apache Spark ve službě Azure Synapse Analytics.

Poznámka:

-SparkVersion Pokud se parametr používá k upgradu verze modulu runtime Synapse Spark, ujistěte se, že fond Sparku nemá připojené vlastní knihovny ani balíčky. Další podrobnosti najdete v tématu Migrace mezi verzemi Apache Sparku.

Příklady

Příklad 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Tento příkaz aktualizuje fond Apache Sparku ve službě Azure Synapse Analytics.

Příklad 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Tento příkaz aktualizuje fond Apache Spark ve službě Azure Synapse Analytics prostřednictvím kanálu.

Příklad 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Tento příkaz aktualizuje fond Apache Spark ve službě Azure Synapse Analytics prostřednictvím kanálu.

Příklad 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Tento příkaz aktualizuje fond Apache Spark ve službě Azure Synapse Analytics pomocí ID prostředku.

Příklad 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Tento příkaz umožňuje automatické škálování pro fond Apache Spark ve službě Azure Synapse Analytics.

Příklad 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Tento příkaz zakáže automatické škálování pro fond Apache Spark ve službě Azure Synapse Analytics.

Příklad 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Tento příkaz umožňuje automatické pozastavení fondu Apache Spark ve službě Azure Synapse Analytics.

Příklad 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Tento příkaz zakáže automatické pozastavení fondu Apache Spark ve službě Azure Synapse Analytics.

Příklad 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Tento příkaz povolí přidělení dynamického exekutoru a zadá minimální počet exekutorů a maximální počet exekutorů pro fond Apache Spark ve službě Azure Synapse Analytics.

Příklad 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Tento příkaz zakáže přidělení dynamického exekutoru pro fond Apache Spark ve službě Azure Synapse Analytics.

Příklad 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

První příkaz načte balíčky pracovního prostoru. Druhý příkaz tyto balíčky pracovních prostorů pro propojení s fondem Apache Spark ve službě Azure Synapse Analytics.

Příklad 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

První příkaz načte balíčky pracovního prostoru s názvem ContosoPackage. Druhý příkaz odebere balíček pracovního prostoru z fondu Apache Spark ve službě Azure Synapse Analytics.

Příklad 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

První příkaz načte fond Apache Sparku ve službě Azure Synapse Analytics. Druhý příkaz odebere všechny balíčky pracovního prostoru, které jsou propojené s daným fondem Apache Sparku.

Příklad 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

První příkaz načte balíčky dostupné v pracovním prostoru. Druhá skupina příkazů načte fond Sparku, aby získala balíčky aktuálně propojené s tímto fondem, a odebere všechny verze balíčku počínaje načteným seznamem new_package- . Nová verze balíčku se pak přidá do tohoto seznamu. Ve třetí skupině příkazů se seznam balíčků obsahující pouze názvy balíčků přeformuluje do seznamu balíčků pracovního prostoru filtrováním seznamu dostupných workspace_packages a následně je propojen s fondem Spark.

Příklad 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Tento příkaz aktualizuje fond Apache Sparku ve službě Azure Synapse Analytics a určí konfiguraci Sparku pro fond Spark.

Příklad 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Tento příkaz aktualizuje fond Apache Sparku ve službě Azure Synapse Analytics, nastaví nodeSize na malý pro fond Sparku a vynutí zastavení všech spuštěných úloh ve fondu Spark, aby toto nové nastavení použilo.

Příklad 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

První příkaz načte fond Apache Sparku ve službě Azure Synapse Analytics. Druhý příkaz odebere všechny balíčky pracovních prostorů, které jsou propojené s daným fondem Apache Sparku, a vynutí zastavení všech spuštěných úloh ve fondu Spark, aby toto nové nastavení použilo.

Příklad 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Tento příkaz povolí izolované výpočetní prostředky a určí velikost uzlu na XXXLarge (80 vCPU / 504 GB) pro fond Apache Spark ve službě Azure Synapse Analytics.

Parametry

-AsJob

Spuštění rutiny na pozadí

Typ:SwitchParameter
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-AutoPauseDelayInMinute

Počet minut nečinnosti Tento parametr lze zadat, pokud je povoleno automatické pozastavení. Výchozí hodnota bude [15], pokud není zadána ručně.

Typ:Int32
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-AutoScaleMaxNodeCount

Maximální počet uzlů, které se mají přidělit v zadaném fondu Sparku. Tento parametr musí být zadán, pokud je povolené automatické škálování.

Typ:Int32
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-AutoScaleMinNodeCount

Minimální počet uzlů, které se mají přidělit v zadaném fondu Sparku. Tento parametr musí být zadán, pokud je povolené automatické škálování.

Typ:Int32
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-Confirm

Před spuštěním rutiny zobrazí výzvu k potvrzení.

Typ:SwitchParameter
Aliasy:cf
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-DefaultProfile

Přihlašovací údaje, účet, tenant a předplatné používané ke komunikaci s Azure.

Typ:IAzureContextContainer
Aliasy:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-EnableAutoPause

Určuje, jestli má být povolené automatické pozastavení.

Typ:Nullable<T>[Boolean]
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-EnableAutoScale

Určuje, jestli má být povolené automatické škálování.

Typ:Nullable<T>[Boolean]
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-EnableDynamicExecutorAllocation

Určuje, jestli má být povolené přidělení dynamického exekutoru.

Typ:Nullable<T>[Boolean]
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-EnableIsolatedCompute

Možnost Izolované výpočetní prostředky je k dispozici pouze s velikostí uzlu XXXLarge (80 vCPU / 504 GB). Povolení této možnosti nabízí izolaci výpočetních prostředků Apache Sparku pro nedůvěryhodné služby. Izolované výpočetní náklady jsou stejné jako neizolovaný virtuální počítač se stejnou velikostí. Pokud očekáváte, že pro fond Sparku povolíte izolované výpočetní prostředky, ujistěte se, že je váš pracovní prostor Synapse vytvořený v izolované podporované oblasti výpočetních prostředků, další podrobnosti najdete v tomto dokumentu: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute

Typ:Nullable<T>[Boolean]
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-ForceApplySetting

Určuje, jestli se mají zastavit všechny spuštěné úlohy ve fondu velkých objemů dat.

Typ:SwitchParameter
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-InputObject

Vstupní objekt fondu Sparku, obvykle předávaný kanálem.

Typ:PSSynapseSparkPool
Position:Named
Default value:None
Vyžadováno:True
Přijmout vstup kanálu:True
Přijmout zástupné znaky:False

-LibraryRequirementsFilePath

Konfigurační soubor prostředí (výstup PIP zablokuje).

Typ:String
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-MaxExecutorCount

Maximální počet exekutorů, které se mají přidělit v zadaném fondu Sparku. Tento parametr lze zadat, pokud je povolena funkce DynamicExecutorAllocation. Hodnota by měla být mezi 1 (včetně) a maximumNodeCount (exclusive). Pokud není zadán ručně, bude výchozí hodnota 2.

Typ:Int32
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-MinExecutorCount

Minimální počet exekutorů, které se mají přidělit v zadaném fondu Sparku. Tento parametr lze zadat, pokud je povolena funkce DynamicExecutorAllocation. Hodnota by měla být mezi 1 (včetně) a maxExecutors (exkluzivní). Pokud není zadán ručně, bude výchozí hodnota 1.

Typ:Int32
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-Name

Název fondu Synapse Spark.

Typ:String
Aliasy:SparkPoolName
Position:Named
Default value:None
Vyžadováno:True
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-NodeCount

Počet uzlů, které se mají přidělit v zadaném fondu Sparku

Typ:Int32
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-NodeSize

Počet jader apamětich Tento parametr musí být zadán, pokud je zakázané automatické škálování.

Typ:String
Přípustné hodnoty:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-Package

Balíčky pracovního prostoru.

Typ:List<T>[PSSynapseWorkspacePackage]
Aliasy:WorkspacePackage
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-PackageAction

Akce balíčku musí být zadána při přidání nebo odebrání balíčku pracovního prostoru z fondu Apache Spark.

Typ:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Přípustné hodnoty:Add, Remove, Set
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-ResourceGroupName

Název skupiny prostředků.

Typ:String
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-ResourceId

Identifikátor prostředku fondu Synapse Spark.

Typ:String
Position:Named
Default value:None
Vyžadováno:True
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-SparkConfiguration

Konfigurace Apache Sparku Při odeslání úlohy do fondu se budou odkazovat na vlastnosti zadané ve vybrané konfiguraci.

Typ:PSSparkConfigurationResource
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-SparkVersion

Verze Apache Sparku Povolené hodnoty: 3,1,3.2,3.3,3,3.4

Typ:String
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-Tag

Řetězcový slovník značek přidružených k prostředku.

Typ:Hashtable
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-WhatIf

Zobrazuje, co by se stalo při spuštění rutiny. Rutina není spuštěna.

Typ:SwitchParameter
Aliasy:wi
Position:Named
Default value:None
Vyžadováno:False
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-WorkspaceName

Název pracovního prostoru Synapse

Typ:String
Position:Named
Default value:None
Vyžadováno:True
Přijmout vstup kanálu:False
Přijmout zástupné znaky:False

-WorkspaceObject

vstupní objekt pracovního prostoru, obvykle předávaný kanálem.

Typ:PSSynapseWorkspace
Position:Named
Default value:None
Vyžadováno:True
Přijmout vstup kanálu:True
Přijmout zástupné znaky:False

Vstupy

PSSynapseWorkspace

PSSynapseSparkPool

Výstupy

PSSynapseSparkPool