Megosztás a következőn keresztül:

Update-AzSynapseSparkPool

  • Referencia
Modul:
Az.Synapse

Apache Spark-készlet frissítése az Azure Synapse Analyticsben.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

Az Update-AzSynapseSparkPool parancsmag frissíti az Apache Spark-készletet az Azure Synapse Analyticsben.

Feljegyzés

Ha a paraméter a -SparkVersion Synapse Spark futtatókörnyezet verziójának frissítésére szolgál, győződjön meg arról, hogy a Spark-készlet nem tartalmaz csatolt egyéni kódtárakat vagy csomagokat. További részletekért tekintse meg az Apache Spark-verziók közötti migrálást.

Példák

1. példa

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Ez a parancs frissíti az Apache Spark-készletet az Azure Synapse Analyticsben.

2. példa

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Ez a parancs egy Apache Spark-készletet frissít az Azure Synapse Analyticsben folyamaton keresztül.

3. példa

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Ez a parancs egy Apache Spark-készletet frissít az Azure Synapse Analyticsben folyamaton keresztül.

4. példa

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Ez a parancs frissíti az Apache Spark-készletet az Azure Synapse Analyticsben erőforrás-azonosítóval.

5. példa

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Ez a parancs lehetővé teszi az Apache Spark-készlet automatikus méretezését az Azure Synapse Analyticsben.

6. példa

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Ez a parancs letiltja az Apache Spark-készlet automatikus méretezését az Azure Synapse Analyticsben.

7. példa

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Ez a parancs lehetővé teszi az Apache Spark-készlet automatikus szüneteltetést az Azure Synapse Analyticsben.

8. példa

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Ez a parancs letiltja az Apache Spark-készlet automatikus szüneteltetést az Azure Synapse Analyticsben.

9. példa

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Ez a parancs lehetővé teszi a dinamikus végrehajtók lefoglalását, és meghatározza az Apache Spark-készlet minimális végrehajtószámát és maximális végrehajtói számát az Azure Synapse Analyticsben.

10. példa

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Ez a parancs letiltja az Apache Spark-készlet dinamikus végrehajtói lefoglalását az Azure Synapse Analyticsben.

11. példa

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

Az első parancs lekéri a munkaterület-csomagokat. A második parancs ezeket a munkaterület-csomagokat egy Apache Spark-készlethez kapcsolja az Azure Synapse Analyticsben.

12. példa

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

Az első parancs lekéri a ContosoPackage nevű munkaterület-csomagokat. A második parancs eltávolítja a munkaterület-csomagot egy Apache Spark-készletből az Azure Synapse Analyticsben.

13. példa

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

Az első parancs egy Apache Spark-készletet kér le az Azure Synapse Analyticsben. A második parancs eltávolítja az apache Spark-készlethez csatolt összes munkaterület-csomagot.

14. példa

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

Az első parancs lekéri a munkaterületen elérhető csomagokat. A második parancscsoport lekéri a spark-készletet, hogy lekérje a készlethez jelenleg csatolt csomagokat, és eltávolítja a csomag összes verzióját a lekért listából.new_package- A csomag új verziója ezután hozzáadódik ehhez a listához. A parancsok harmadik csoportjában a csak csomagneveket tartalmazó csomaglista át lesz alakítva a munkaterület-csomagok listájára a rendelkezésre álló workspace_packages megfelelő szűrésével, majd a spark-készlethez csatolva.

15. példa

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Ez a parancs frissíti az Apache Spark-készletet az Azure Synapse Analyticsben, és megadja a Spark-készlet Spark-konfigurációját.

16. példa

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Ez a parancs frissíti az Apache Spark-készletet az Azure Synapse Analyticsben, kis méretűre állítja a NodeSize-t a spark-készlethez, és kényszeríti a Spark-készletben futó feladatok leállítását az új beállítás alkalmazására.

17. példa

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

Az első parancs egy Apache Spark-készletet kér le az Azure Synapse Analyticsben. A második parancs eltávolítja az Apache Spark-készlethez csatolt összes munkaterület-csomagot, és kényszeríti a Spark-készletben futó feladatok leállítását az új beállítás alkalmazásához.

18. példa

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Ez a parancs lehetővé teszi az izolált számítást, és megadhatja a csomópont méretét xxxLarge(80 vCPU / 504 GB) értékre egy Apache Spark-készlethez az Azure Synapse Analyticsben.

Paraméterek

-AsJob

Parancsmag futtatása a háttérben

Típus:SwitchParameter
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-AutoPauseDelayInMinute

Üresjárati percek száma. Ez a paraméter akkor adható meg, ha az automatikus szüneteltetés engedélyezve van. Az alapértelmezett érték [15] lesz, ha nincs manuálisan megadva.

Típus:Int32
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-AutoScaleMaxNodeCount

A megadott Spark-készletben lefoglalandó csomópontok maximális száma. Ezt a paramétert akkor kell megadni, ha az automatikus skálázás engedélyezve van.

Típus:Int32
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-AutoScaleMinNodeCount

A megadott Spark-készletben lefoglalandó csomópontok minimális száma. Ezt a paramétert akkor kell megadni, ha az automatikus skálázás engedélyezve van.

Típus:Int32
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-Confirm

Jóváhagyást kér a parancsmag futtatása előtt.

Típus:SwitchParameter
Aliasok:cf
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-DefaultProfile

Az Azure-ral való kommunikációhoz használt hitelesítő adatok, fiók, bérlő és előfizetés.

Típus:IAzureContextContainer
Aliasok:AzContext, AzureRmContext, AzureCredential
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-EnableAutoPause

Azt jelzi, hogy engedélyezni kell-e az automatikus szüneteltetés használatát.

Típus:Nullable<T>[Boolean]
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-EnableAutoScale

Azt jelzi, hogy engedélyezni kell-e az automatikus skálázást

Típus:Nullable<T>[Boolean]
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-EnableDynamicExecutorAllocation

Azt jelzi, hogy engedélyezni kell-e a dinamikus végrehajtói foglalást.

Típus:Nullable<T>[Boolean]
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-EnableIsolatedCompute

A Számítás elkülönítése lehetőség csak a XXXLarge (80 vCPU / 504 GB) csomópontmérettel érhető el. Ennek a beállításnak az engedélyezése elkülöníti az Apache Spark-számítást a nem megbízható szolgáltatásokhoz. Az izolált számítási költségek megegyeznek az azonos méretű, nem izolált virtuális gépével. Ha a Spark-készlethez engedélyezni szeretné az Izolált számítást, győződjön meg arról, hogy a Synapse-munkaterület egy izolált számítási környezetben van létrehozva, további részletekért tekintse meg ezt a dokumentumot: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Típus:Nullable<T>[Boolean]
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-ForceApplySetting

A Big Data-készletben futó feladatok leállítása.

Típus:SwitchParameter
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-InputObject

Spark-készlet bemeneti objektuma, amely általában áthalad a folyamaton.

Típus:PSSynapseSparkPool
Position:Named
Alapértelmezett érték:None
Kötelező:True
Folyamatbemenet elfogadása:True
Helyettesítő karakterek elfogadása:False

-LibraryRequirementsFilePath

Környezeti konfigurációs fájl ("PIP-rögzítés" kimenet).

Típus:String
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-MaxExecutorCount

A megadott Spark-készletben lefoglalandó végrehajtók maximális száma. Ez a paraméter akkor adható meg, ha a DynamicExecutorAllocation engedélyezve van. Az értéknek 1 (beleértve) és maximumNodeCount (kizárólagos) közé kell esnie. Ha nincs manuálisan megadva, az alapértelmezett érték 2 lesz.

Típus:Int32
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-MinExecutorCount

A megadott Spark-készletben lefoglalandó végrehajtók minimális száma. Ez a paraméter akkor adható meg, ha a DynamicExecutorAllocation engedélyezve van. Az értéknek 1 (beleértve) és maxExecutor (kizárólagos) közé kell esnie. Ha nincs manuálisan megadva, az alapértelmezett érték 1 lesz.

Típus:Int32
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-Name

A Synapse Spark-készlet neve.

Típus:String
Aliasok:SparkPoolName
Position:Named
Alapértelmezett érték:None
Kötelező:True
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-NodeCount

A megadott Spark-készletben lefoglalandó csomópontok száma.

Típus:Int32
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-NodeSize

A megadott Spark-készletben lefoglalt csomópontokhoz használandó mag és memória száma. Ezt a paramétert akkor kell megadni, ha az automatikus skálázás le van tiltva

Típus:String
Elfogadott értékek:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-Package

A munkaterület-csomagok.

Típus:List<T>[PSSynapseWorkspacePackage]
Aliasok:WorkspacePackage
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-PackageAction

A csomagműveletet akkor kell megadni, ha munkaterület-csomagot ad hozzá vagy távolít el egy Apache Spark-készletből.

Típus:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Elfogadott értékek:Add, Remove, Set
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-ResourceGroupName

Az erőforráscsoport neve.

Típus:String
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-ResourceId

A Synapse Spark-készlet erőforrás-azonosítója.

Típus:String
Position:Named
Alapértelmezett érték:None
Kötelező:True
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-SparkConfiguration

Apache Spark-konfiguráció. Amikor egy feladat el lesz küldve a készletbe, a rendszer hivatkozni fog a kiválasztott konfigurációban megadott tulajdonságokra.

Típus:PSSparkConfigurationResource
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-SparkVersion

Apache Spark-verzió. Megengedett értékek: 3.1,3.2,3.3,3.4

Típus:String
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-Tag

Az erőforráshoz társított címkék sztring- és sztringszótára.

Típus:Hashtable
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-WhatIf

Bemutatja, mi történne a parancsmag futtatásakor. A parancsmag nem fut.

Típus:SwitchParameter
Aliasok:wi
Position:Named
Alapértelmezett érték:None
Kötelező:False
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-WorkspaceName

A Synapse-munkaterület neve.

Típus:String
Position:Named
Alapértelmezett érték:None
Kötelező:True
Folyamatbemenet elfogadása:False
Helyettesítő karakterek elfogadása:False

-WorkspaceObject

munkaterület bemeneti objektuma, amely általában áthalad a folyamaton.

Típus:PSSynapseWorkspace
Position:Named
Alapértelmezett érték:None
Kötelező:True
Folyamatbemenet elfogadása:True
Helyettesítő karakterek elfogadása:False

Bevitelek

PSSynapseWorkspace

PSSynapseSparkPool

Kimenetek

PSSynapseSparkPool