Update-AzSynapseSparkPool

  • Referencia
Módulo:
Az.Synapse

Novedades un grupo de Apache Spark en Azure Synapse Analytics.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

El cmdlet Update-AzSynapseSparkPool actualiza un grupo de Apache Spark en Azure Synapse Analytics.

Nota:

Si el -SparkVersion parámetro se usa para actualizar la versión del entorno de ejecución de Spark de Synapse, asegúrese de que el grupo de Spark no tiene bibliotecas o paquetes personalizados asociados. Consulte Migración entre versiones de Apache Spark para obtener más detalles.

Ejemplos

Ejemplo 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics a través de la canalización.

Ejemplo 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics a través de la canalización.

Ejemplo 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics con el identificador de recurso.

Ejemplo 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Este comando habilita el escalado automático para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Este comando deshabilita el escalado automático para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Este comando habilita la pausa automática para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Este comando deshabilita la pausa automática para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Este comando habilita la asignación dinámica del ejecutor y especifica el número mínimo de ejecutores y el número máximo de ejecutores para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Este comando deshabilita la asignación dinámica del ejecutor para un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

El primer comando recupera los paquetes del área de trabajo. El segundo comando vincula estos paquetes de área de trabajo a un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

El primer comando recupera los paquetes del área de trabajo denominados ContosoPackage. El segundo comando quita el paquete del área de trabajo de un grupo de Apache Spark en Azure Synapse Analytics.

Ejemplo 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

El primer comando recupera un grupo de Apache Spark en Azure Synapse Analytics. El segundo comando quita todos los paquetes de área de trabajo que están vinculados a ese grupo de Apache Spark.

Ejemplo 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

El primer comando recupera los paquetes disponibles en el área de trabajo. El segundo grupo de comandos recupera el grupo de Spark para obtener los paquetes vinculados actualmente a este grupo y quita todas las versiones del paquete a partir new_package- de la lista recuperada. A continuación, se agrega la nueva versión del paquete a esta lista. En el tercer grupo de comandos, la lista de paquetes, que contiene solo los nombres de paquete, se transforma en una lista de paquetes de área de trabajo filtrando la lista de workspace_packages disponibles en consecuencia y, a continuación, se vincula al grupo de Spark.

Ejemplo 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics y especifica una configuración de Spark para el grupo de Spark.

Ejemplo 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Este comando actualiza un grupo de Apache Spark en Azure Synapse Analytics, establezca NodeSize en pequeño para el grupo de Spark y obligue a detener los trabajos en ejecución del grupo de Spark para aplicar esta nueva configuración.

Ejemplo 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

El primer comando recupera un grupo de Apache Spark en Azure Synapse Analytics. El segundo comando quita todos los paquetes de área de trabajo vinculados a ese grupo de Apache Spark y fuerza a detener los trabajos en ejecución del grupo de Spark para aplicar esta nueva configuración.

Ejemplo 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Este comando habilita el proceso aislado y especifica el tamaño del nodo en XXXLarge(80 vCPU/ 504 GB) para un grupo de Apache Spark en Azure Synapse Analytics.

Parámetros

-AsJob

Ejecución del cmdlet en segundo plano

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Número de minutos inactivos. Este parámetro se puede especificar cuando está habilitada la pausa automática. El valor predeterminado será [15] si no se especifica manualmente.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Número máximo de nodos que se asignarán en el grupo de Spark especificado. Este parámetro debe especificarse cuando está habilitado el escalado automático.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Número mínimo de nodos que se asignarán en el grupo de Spark especificado. Este parámetro debe especificarse cuando está habilitado el escalado automático.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Le solicita su confirmación antes de ejecutar el cmdlet.

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

Credenciales, cuenta, inquilino y suscripción usados para la comunicación con Azure.

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Indica si se debe habilitar la pausa automática.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Indica si se debe habilitar el escalado automático.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Indica si se debe habilitar la asignación dinámica del ejecutor.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

La opción Aislar proceso solo está disponible con el tamaño del nodo XXXLarge (80 vCPU /504 GB). La habilitación de esta opción ofrece aislamiento para el proceso de Apache Spark para servicios que no son de confianza. El proceso aislado cuesta lo mismo que la máquina virtual no aislada del mismo tamaño. Si espera habilitar el proceso aislado para el grupo de Spark, asegúrese de que el área de trabajo de Synapse se crea en una región admitida de proceso aislado, consulte este documento para obtener más información: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Indica si se deben detener los trabajos en ejecución en el grupo de macrodatos.

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

El objeto de entrada del grupo de Spark, normalmente se pasa a través de la canalización.

Type:PSSynapseSparkPool
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Archivo de configuración del entorno (salida "inmovilización de PIP").

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Número máximo de ejecutores que se asignarán en el grupo de Spark especificado. Este parámetro se puede especificar cuando DynamicExecutorAllocation está habilitado. El valor debe estar comprendido entre 1 (inclusivo) y maximumNodeCount (exclusivo). Si no se especifica manualmente, el valor predeterminado será 2.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Número mínimo de ejecutores que se asignarán en el grupo de Spark especificado. Este parámetro se puede especificar cuando DynamicExecutorAllocation está habilitado. El valor debe estar comprendido entre 1 (inclusivo) y maxExecutors (exclusivo). Si no se especifica manualmente, el valor predeterminado será 1.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Nombre del grupo de Spark de Synapse.

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Número de nodos que se van a asignar en el grupo de Spark especificado.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Número de núcleos y memoria que se van a usar para los nodos asignados en el grupo de Spark especificado. Este parámetro debe especificarse cuando se deshabilita la escalabilidad automática.

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Los paquetes del área de trabajo.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

La acción del paquete debe especificarse al agregar o quitar un paquete de área de trabajo de un grupo de Apache Spark.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Accepted values:Add, Remove, Set
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Nombre del grupo de recursos.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Identificador de recursos del grupo de Spark de Synapse.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Configuración de Apache Spark. Cuando se envía un trabajo al grupo, se hará referencia a las propiedades especificadas en la configuración seleccionada.

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Versión de Apache Spark. Valores permitidos: 3.1,3.2,3.3

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Un diccionario de cadenas de etiquetas asociadas al recurso.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Muestra lo que sucedería si se ejecutara el cmdlet. El cmdlet no se ejecuta.

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Nombre del área de trabajo de Synapse.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

objeto de entrada del área de trabajo, que normalmente se pasa a través de la canalización.

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

Entradas

PSSynapseWorkspace

PSSynapseSparkPool

Salidas

PSSynapseSparkPool