Udostępnij za pośrednictwem

Update-AzSynapseSparkPool

  • Odwołanie
Moduł:
Az.Synapse

Aktualizacje pulę platformy Apache Spark w usłudze Azure Synapse Analytics.

Składnia

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Opis

Polecenie cmdlet Update-AzSynapseSparkPool aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics.

Uwaga

-SparkVersion Jeśli parametr jest używany do uaktualniania wersji środowiska uruchomieniowego platformy Synapse Spark, upewnij się, że pula Spark nie ma żadnych dołączonych bibliotek niestandardowych ani pakietów. Aby uzyskać więcej informacji, zobacz Migracja między wersjami platformy Apache Spark.

Przykłady

Przykład 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics za pośrednictwem potoku.

Przykład 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics za pośrednictwem potoku.

Przykład 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics przy użyciu identyfikatora zasobu.

Przykład 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

To polecenie umożliwia automatyczne skalowanie puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

To polecenie wyłącza automatyczne skalowanie puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

To polecenie umożliwia automatyczne wstrzymywanie puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

To polecenie wyłącza automatyczne wstrzymywanie puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

To polecenie umożliwia dynamiczną alokację funkcji wykonawczej i określ minimalną liczbę funkcji wykonawczej i maksymalną liczbę funkcji wykonawczej dla puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

To polecenie wyłącza dynamiczną alokację funkcji wykonawczej dla puli platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Pierwsze polecenie pobiera pakiety obszarów roboczych. Drugie polecenie łączy te pakiety obszarów roboczych z pulą platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Pierwsze polecenie pobiera pakiety obszarów roboczych o nazwie ContosoPackage. Drugie polecenie usuwa pakiet obszaru roboczego z puli Platformy Apache Spark w usłudze Azure Synapse Analytics.

Przykład 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Pierwsze polecenie pobiera pulę platformy Apache Spark w usłudze Azure Synapse Analytics. Drugie polecenie usuwa wszystkie pakiety obszarów roboczych połączone z pulą platformy Apache Spark.

Przykład 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Pierwsze polecenie pobiera pakiety dostępne w obszarze roboczym. Druga grupa poleceń pobiera pulę platformy Spark, aby pobrać pakiety aktualnie połączone z new_package- tą pulą i usuwa wszystkie wersje pakietu, począwszy od pobranej listy. Nowa wersja pakietu zostanie następnie dodana do tej listy. W trzeciej grupie poleceń lista pakietów zawierająca tylko nazwy pakietów jest przekształcana na listę pakietów obszarów roboczych, filtrując odpowiednio listę dostępnych workspace_packages, a następnie połączona z pulą spark.

Przykład 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics i określa konfigurację platformy Spark dla puli Spark.

Przykład 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

To polecenie aktualizuje pulę platformy Apache Spark w usłudze Azure Synapse Analytics, ustaw wartość NodeSize na małą dla puli spark i wymuś zatrzymanie wszystkich uruchomionych zadań w puli Spark, aby zastosować to nowe ustawienie.

Przykład 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Pierwsze polecenie pobiera pulę platformy Apache Spark w usłudze Azure Synapse Analytics. Drugie polecenie usuwa wszystkie pakiety obszarów roboczych połączone z tą pulą platformy Apache Spark i wymusza zatrzymanie wszystkich uruchomionych zadań w puli Spark w celu zastosowania tego nowego ustawienia.

Przykład 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

To polecenie umożliwia izolowane obliczenia i określ rozmiar węzła xxXLarge(80 vCPU / 504 GB) dla puli Platformy Apache Spark w usłudze Azure Synapse Analytics.

Parametry

-AsJob

Uruchamianie polecenia cmdlet w tle

Typ:SwitchParameter
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Liczba minut bezczynności. Ten parametr można określić po włączeniu automatycznego wstrzymywania. Wartość domyślna będzie wynosić [15], jeśli nie zostanie określona ręcznie.

Typ:Int32
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Maksymalna liczba węzłów do przydzielenia w określonej puli Spark. Ten parametr należy określić po włączeniu automatycznego skalowania.

Typ:Int32
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Minimalna liczba węzłów do przydzielenia w określonej puli spark. Ten parametr należy określić po włączeniu automatycznego skalowania.

Typ:Int32
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Monituje o potwierdzenie przed uruchomieniem polecenia cmdlet.

Typ:SwitchParameter
Aliases:cf
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Poświadczenia, konto, dzierżawa i subskrypcja używane do komunikacji z platformą Azure.

Typ:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Wskazuje, czy ma być włączona funkcja automatycznego wstrzymywania.

Typ:Nullable<T>[Boolean]
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Wskazuje, czy ma być włączone automatyczne skalowanie

Typ:Nullable<T>[Boolean]
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Wskazuje, czy należy włączyć dynamiczną alokację funkcji wykonawczej.

Typ:Nullable<T>[Boolean]
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

Opcja Izoluj obliczenia jest dostępna tylko w przypadku rozmiaru węzła XXXLarge (80 vCPU/504 GB). Włączenie tej opcji zapewnia izolację zasobów obliczeniowych platformy Apache Spark dla niezaufanych usług. Izolowane koszty obliczeń są takie same jak nieizolowana maszyna wirtualna o tym samym rozmiarze. Jeśli oczekujesz włączenia izolowanego środowiska obliczeniowego dla puli spark, upewnij się, że obszar roboczy usługi Synapse został utworzony w izolowanym regionie obsługiwanym przez zasoby obliczeniowe, zapoznaj się z tym dokumentem, aby uzyskać więcej informacji: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Typ:Nullable<T>[Boolean]
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Czy zatrzymać jakiekolwiek uruchomione zadania w puli danych big data.

Typ:SwitchParameter
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Obiekt wejściowy puli platformy Spark, zwykle przekazywany przez potok.

Typ:PSSynapseSparkPool
Position:Named
wartość domyślna:None
Wymagane:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Plik konfiguracji środowiska ("Dane wyjściowe blokowania pip").

Typ:String
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Maksymalna liczba funkcji wykonawczych do przydzielenia w określonej puli platformy Spark. Ten parametr można określić, gdy parametr DynamicExecutorAllocation jest włączony. Wartość powinna należeć do zakresu od 1 (włącznie) do wartości maximumNodeCount (wyłączność). Jeśli nie zostanie określona ręcznie, wartość domyślna będzie wynosić 2.

Typ:Int32
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Minimalna liczba funkcji wykonawczych do przydzielenia w określonej puli spark. Ten parametr można określić, gdy parametr DynamicExecutorAllocation jest włączony. Wartość powinna należeć do zakresu od 1 (włącznie) do wartości maxExecutors (wyłączność). Jeśli nie zostanie określony ręcznie, wartość domyślna będzie wynosić 1.

Typ:Int32
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Nazwa puli platformy Spark usługi Synapse.

Typ:String
Aliases:SparkPoolName
Position:Named
wartość domyślna:None
Wymagane:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Liczba węzłów do przydzielenia w określonej puli platformy Spark.

Typ:Int32
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Liczba rdzeni i pamięci, które mają być używane dla węzłów przydzielonych w określonej puli spark. Ten parametr należy określić, gdy skalowanie automatyczne jest wyłączone

Typ:String
akceptowane wartości:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Pakiety obszarów roboczych.

Typ:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

Akcja pakietu musi być określona podczas dodawania lub usuwania pakietu obszaru roboczego z puli platformy Apache Spark.

Typ:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
akceptowane wartości:Add, Remove, Set
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Nazwa grupy zasobów.

Typ:String
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Identyfikator zasobu puli Platformy Spark usługi Synapse.

Typ:String
Position:Named
wartość domyślna:None
Wymagane:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Konfiguracja platformy Apache Spark. Po przesłaniu zadania do puli zostaną przywołyne właściwości określone w wybranej konfiguracji.

Typ:PSSparkConfigurationResource
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Wersja platformy Apache Spark. Dozwolone wartości: 3.1,3.2,3.3

Typ:String
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Ciąg, słownik ciągów tagów skojarzonych z zasobem.

Typ:Hashtable
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Pokazuje, co się stanie po uruchomieniu polecenia cmdlet. Polecenie cmdlet nie zostało uruchomione.

Typ:SwitchParameter
Aliases:wi
Position:Named
wartość domyślna:None
Wymagane:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Nazwa obszaru roboczego usługi Synapse.

Typ:String
Position:Named
wartość domyślna:None
Wymagane:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

obiekt wejściowy obszaru roboczego, zwykle przekazywany przez potok.

Typ:PSSynapseWorkspace
Position:Named
wartość domyślna:None
Wymagane:True
Accept pipeline input:True
Accept wildcard characters:False

Dane wejściowe

PSSynapseWorkspace

PSSynapseSparkPool

Dane wyjściowe

PSSynapseSparkPool