Compartilhar via

Update-AzSynapseSparkPool

  • Referência
Módulo:
Az.Synapse

Atualiza um pool do Apache Spark no Azure Synapse Analytics.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

O cmdlet Update-AzSynapseSparkPool atualiza um pool do Apache Spark no Azure Synapse Analytics.

Observação

Se o -SparkVersion parâmetro for usado para atualizar a versão de tempo de execução do Synapse Spark, verifique se o pool do Spark não tem bibliotecas ou pacotes personalizados anexados. Consulte Migração entre versões do Apache Spark para obter mais detalhes.

Exemplos

Exemplo 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics por meio do pipeline.

Exemplo 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics por meio do pipeline.

Exemplo 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics com ID de recurso.

Exemplo 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Esse comando habilita o dimensionamento automático para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Esse comando desabilita o dimensionamento automático para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Este comando habilita a pausa automática para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Este comando desabilita a pausa automática para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Esse comando habilita a alocação dinâmica de executores e especifica a contagem mínima de executores e a contagem máxima de executores para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Esse comando desabilita a alocação de executor dinâmico para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

O primeiro comando recupera pacotes de espaço de trabalho. O segundo comando vincula esses pacotes de espaço de trabalho a um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

O primeiro comando recupera pacotes de espaço de trabalho chamados ContosoPackage. O segundo comando remove o pacote de espaço de trabalho de um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

O primeiro comando recupera um pool do Apache Spark no Azure Synapse Analytics. O segundo comando remove todos os pacotes de espaço de trabalho vinculados a esse pool do Apache Spark.

Exemplo 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

O primeiro comando recupera os pacotes disponíveis no espaço de trabalho. O segundo grupo de comandos recupera o pool de faíscas para obter os pacotes atualmente vinculados a esse pool e remove todas as versões do pacote começando com new_package- da lista recuperada. A nova versão do pacote é então adicionada a esta lista. No terceiro grupo de comandos, a lista de pacotes, contendo apenas nomes de pacotes, é transformada em uma lista de pacotes de espaço de trabalho filtrando a lista de workspace_packages disponíveis de acordo e, em seguida, é vinculada ao pool de faíscas.

Exemplo 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics e especifica uma configuração do Spark para o pool do Spark.

Exemplo 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics, define NodeSize como pequeno para o pool de faíscas e força a interrupção de quaisquer trabalhos em execução no pool do Spark para aplicar essa nova configuração.

Exemplo 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

O primeiro comando recupera um pool do Apache Spark no Azure Synapse Analytics. O segundo comando remove todos os pacotes de espaço de trabalho vinculados a esse pool do Apache Spark e força a interrupção de quaisquer trabalhos em execução no pool do Spark para aplicar essa nova configuração.

Exemplo 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Esse comando habilita a computação isolada e especifica o tamanho do nó para XXXLarge(80 vCPU / 504 GB) para um pool do Apache Spark no Azure Synapse Analytics.

Parâmetros

-AsJob

Executar cmdlet em segundo plano

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Número de minutos ociosos. Esse parâmetro pode ser especificado quando a pausa automática está habilitada. O valor padrão será [15] se não for especificado manualmente.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Número máximo de nós a serem alocados no pool do Spark especificado. Esse parâmetro deve ser especificado quando a escala automática estiver habilitada.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Número mínimo de nós a serem alocados no pool do Spark especificado. Esse parâmetro deve ser especificado quando a escala automática estiver habilitada.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Solicita sua confirmação antes de executar o cmdlet.

Type:SwitchParameter
Aliases:cf
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

As credenciais, a conta, o locatário e a assinatura usados para a comunicação com o Azure.

Type:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Indica se a pausa automática deve ser habilitada.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Indica se a escala automática deve ser habilitada

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Indica se a alocação do executor dinâmico deve ser habilitada.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

A opção Isolar computação só está disponível com o tamanho do nó XXXLarge (80 vCPU / 504 GB). Habilitar essa opção oferece isolamento para computação Apache Spark para serviços não confiáveis. A computação isolada custa o mesmo que a VM não isolada do mesmo tamanho. Se você espera habilitar a Computação Isolada para o pool de faíscas, certifique-se de que seu espaço de trabalho Synapse seja criado em uma região com suporte de computação isolada, consulte este documento para obter mais detalhes: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Type:Nullable<T>[Boolean]
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Se deseja interromper qualquer trabalho em execução no pool de Big Data.

Type:SwitchParameter
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Objeto de entrada do pool de faíscas, geralmente passado pelo pipeline.

Type:PSSynapseSparkPool
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Arquivo de configuração do ambiente (saída "PIP freeze").

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Número máximo de executores a serem alocados no pool do Spark especificado. Esse parâmetro pode ser especificado quando DynamicExecutorAllocation está habilitado. O valor deve estar entre 1 (inclusive) e maximumNodeCount (exclusive). Se não for especificado manualmente, o valor padrão será 2.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Número mínimo de executores a serem alocados no pool do Spark especificado. Esse parâmetro pode ser especificado quando DynamicExecutorAllocation está habilitado. O valor deve estar entre 1 (inclusive) e maxExecutors (exclusive). Se não for especificado manualmente, o valor padrão será 1.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Nome da piscina Synapse Spark.

Type:String
Aliases:SparkPoolName
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Número de nós a serem alocados no pool do Spark especificado.

Type:Int32
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Número de núcleo e memória a serem usados para nós alocados no pool do Spark especificado. Esse parâmetro deve ser especificado quando a Escala automática estiver desabilitada

Type:String
Accepted values:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Os pacotes de espaço de trabalho.

Type:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

A ação do pacote deve ser especificada quando você adiciona ou remove um pacote de espaço de trabalho de um pool do Apache Spark.

Type:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
Accepted values:Add, Remove, Set
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Nome do grupo de recursos.

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Identificador de recurso do pool Synapse Spark.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Configuração do Apache Spark. Quando um trabalho é enviado ao pool, as propriedades especificadas na configuração selecionada serão referenciadas.

Type:PSSparkConfigurationResource
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Versão do Apache Spark. Valores permitidos: 3.1,3.2,3.3

Type:String
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Uma cadeia de caracteres,dicionário de cadeia de caracteres de marcas associadas ao recurso.

Type:Hashtable
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Mostra o que aconteceria se o cmdlet fosse executado. O cmdlet não é executado.

Type:SwitchParameter
Aliases:wi
Position:Named
Default value:None
Required:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Nome do espaço de trabalho Sinapse.

Type:String
Position:Named
Default value:None
Required:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

objeto de entrada do espaço de trabalho, geralmente passado pelo pipeline.

Type:PSSynapseWorkspace
Position:Named
Default value:None
Required:True
Accept pipeline input:True
Accept wildcard characters:False

Entradas

PSSynapseWorkspace

PSSynapseSparkPool

Saídas

PSSynapseSparkPool