Partilhar via

Update-AzSynapseSparkPool

  • Referência
Módulo:
Az.Synapse

Atualiza um pool do Apache Spark no Azure Synapse Analytics.

Syntax

Update-AzSynapseSparkPool
      [-ResourceGroupName <String>]
      -WorkspaceName <String>
      -Name <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -Name <String>
      -WorkspaceObject <PSSynapseWorkspace>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -InputObject <PSSynapseSparkPool>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]
Update-AzSynapseSparkPool
      -ResourceId <String>
      [-Tag <Hashtable>]
      [-EnableAutoScale <Boolean>]
      [-AutoScaleMinNodeCount <Int32>]
      [-AutoScaleMaxNodeCount <Int32>]
      [-EnableAutoPause <Boolean>]
      [-AutoPauseDelayInMinute <Int32>]
      [-NodeCount <Int32>]
      [-EnableIsolatedCompute <Boolean>]
      [-NodeSize <String>]
      [-EnableDynamicExecutorAllocation <Boolean>]
      [-MinExecutorCount <Int32>]
      [-MaxExecutorCount <Int32>]
      [-SparkVersion <String>]
      [-LibraryRequirementsFilePath <String>]
      [-SparkConfiguration <PSSparkConfigurationResource>]
      [-PackageAction <PackageActionType>]
      [-Package <System.Collections.Generic.List`1[Microsoft.Azure.Commands.Synapse.Models.WorkspacePackages.PSSynapseWorkspacePackage]>]
      [-ForceApplySetting]
      [-AsJob]
      [-DefaultProfile <IAzureContextContainer>]
      [-WhatIf]
      [-Confirm]
      [<CommonParameters>]

Description

O cmdlet Update-AzSynapseSparkPool atualiza um pool do Apache Spark no Azure Synapse Analytics.

Nota

Se o -SparkVersion parâmetro for usado para atualizar a versão de tempo de execução do Synapse Spark, certifique-se de que o pool do Spark não tenha bibliotecas ou pacotes personalizados anexados. Consulte Migração entre versões do Apache Spark para obter mais detalhes.

Exemplos

Exemplo 1

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 2

$pool = Get-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -Tag @{"key" = "value1"}

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics por meio do pipeline.

Exemplo 3

$ws = Get-AzSynapseWorkspace -Name ContosoWorkspace
$ws | Update-AzSynapseSparkPool -Name ContosoSparkPool -Tag @{"key" = "value2"}

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics por meio do pipeline.

Exemplo 4

Update-AzSynapseSparkPool -ResourceId /subscriptions/21686af7-58ec-4f4d-9c68-f431f4db4edd/resourceGroups/ContosoResourceGroup/providers/Microsoft.Synapse/workspaces/ContosoWorkspace/bigDataPools/ContosoSparkPool -Tag @{"key" = "value3"}

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics com a ID do recurso.

Exemplo 5

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $true -AutoScaleMinNodeCount 3 -AutoScaleMaxNodeCount 7

Este comando permite o dimensionamento automático para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 6

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoScale $false

Este comando desativa o dimensionamento automático para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 7

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $true -AutoPauseDelayInMinute 15

Este comando permite a pausa automática para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 8

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableAutoPause $false

Este comando desativa a pausa automática para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 9

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $true -MinExecutorCount 1 -MaxExecutorCount 5

Este comando permite a alocação dinâmica do executor e especifica a contagem mínima do executor e a contagem máxima do executor para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 10

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableDynamicExecutorAllocation $false

Este comando desabilita a alocação dinâmica do executor para um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 11

$packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Add -Package $packages

O primeiro comando recupera pacotes de espaço de trabalho. O segundo comando vincula esses pacotes de espaço de trabalho a um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 12

$package = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace -Name ContosoPackage
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Remove -Package $package

O primeiro comando recupera pacotes de espaço de trabalho chamados ContosoPackage. O segundo comando remove o pacote de espaço de trabalho de um pool do Apache Spark no Azure Synapse Analytics.

Exemplo 13

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages

O primeiro comando recupera um pool do Apache Spark no Azure Synapse Analytics. O segundo comando remove todos os pacotes de espaço de trabalho vinculados a esse pool do Apache Spark.

Exemplo 14

$workspace_packages = Get-AzSynapseWorkspacePackage -WorkspaceName ContosoWorkspace

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$library_names = $pool.WorkspacePackages | Where-Object {$_.name -notlike "new_package-*"} | ForEach-Object {$_.name}
$library_names += "new_package-2.0-py3-none-any.whl"

$new_pool_packages = @($workspace_packages | Where-Object {$_.name -in $library_names})
Update-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -PackageAction Set -Package $new_pool_packages

O primeiro comando recupera os pacotes disponíveis no espaço de trabalho. O segundo grupo de comandos recupera o pool de faíscas para obter os pacotes atualmente vinculados a esse pool e remove todas as versões do pacote começando com new_package- da lista recuperada. A nova versão do pacote é então adicionada a esta lista. No terceiro grupo de comandos, a lista de pacotes, contendo apenas nomes de pacotes, é transformada em uma lista de pacotes de espaço de trabalho filtrando a lista de workspace_packages disponíveis de acordo e, em seguida, é vinculada ao pool de faíscas.

Exemplo 15

$config = Get-AzSynapseSparkConfiguration -WorkspaceName ContosoWorkspace -Name ContosoSparkConfig1
Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -Tag @{"key" = "value"} -NodeCount 5 -NodeSize Medium -SparkConfiguration $configs

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics e especifica uma configuração do Spark para o pool do Spark.

Exemplo 16

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -NodeSize small -ForceApplySetting

Este comando atualiza um pool do Apache Spark no Azure Synapse Analytics, define NodeSize como small para o pool de faíscas e força a interrupção de quaisquer trabalhos em execução no pool do Spark para aplicar essa nova configuração.

Exemplo 17

$pool = Get-AzSynapseSparkPool -ResourceGroupName ContosoResourceGroup -WorkspaceName ContosoWorkspace -Name ContosoSparkPool
$pool | Update-AzSynapseSparkPool -PackageAction Remove -Package $pool.WorkspacePackages -ForceApplySetting

O primeiro comando recupera um pool do Apache Spark no Azure Synapse Analytics. O segundo comando remove todos os pacotes de espaço de trabalho vinculados a esse pool do Apache Spark e força a interrupção de quaisquer trabalhos em execução no pool do Spark para aplicar essa nova configuração.

Exemplo 18

Update-AzSynapseSparkPool -WorkspaceName ContosoWorkspace -Name ContosoSparkPool -EnableIsolatedCompute $true -NodeSize XXXLarge

Este comando permite a computação isolada e especifica o tamanho do nó para XXXLarge(80 vCPU / 504 GB) para um pool do Apache Spark no Azure Synapse Analytics.

Parâmetros

-AsJob

Executar cmdlet em segundo plano

Tipo:SwitchParameter
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoPauseDelayInMinute

Número de minutos inativos. Este parâmetro pode ser especificado quando a pausa automática está ativada. O valor padrão será [15] se não for especificado manualmente.

Tipo:Int32
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMaxNodeCount

Número máximo de nós a serem alocados no pool de faíscas especificado. Este parâmetro deve ser especificado quando o dimensionamento automático estiver habilitado.

Tipo:Int32
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-AutoScaleMinNodeCount

Número mínimo de nós a serem alocados no pool de faíscas especificado. Este parâmetro deve ser especificado quando o dimensionamento automático estiver habilitado.

Tipo:Int32
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-Confirm

Solicita a sua confirmação antes de executar o cmdlet.

Tipo:SwitchParameter
Aliases:cf
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-DefaultProfile

As credenciais, a conta, o locatário e a assinatura usados para comunicação com o Azure.

Tipo:IAzureContextContainer
Aliases:AzContext, AzureRmContext, AzureCredential
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoPause

Indica se a pausa automática deve ser habilitada.

Tipo:Nullable<T>[Boolean]
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableAutoScale

Indica se o dimensionamento automático deve ser habilitado

Tipo:Nullable<T>[Boolean]
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableDynamicExecutorAllocation

Indica se a alocação de executor dinâmico deve ser habilitada.

Tipo:Nullable<T>[Boolean]
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-EnableIsolatedCompute

A opção Isolar computação só está disponível com o tamanho do nó XXXLarge (80 vCPU / 504 GB). Ativar esta opção oferece isolamento para computação do Apache Spark para serviços não confiáveis. A computação isolada custa o mesmo que a VM não isolada do mesmo tamanho. Se você espera habilitar a Computação Isolada para pool de faíscas, certifique-se de que seu espaço de trabalho Synapse seja criado em uma região suportada por computação isolada, consulte este documento para obter mais detalhes: https://learn.microsoft.com/en-us/azure/synapse-analytics/spark/apache-spark-pool-configurations#isolated-compute.

Tipo:Nullable<T>[Boolean]
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-ForceApplySetting

Se é necessário interromper quaisquer trabalhos em execução no pool de Big Data.

Tipo:SwitchParameter
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-InputObject

Objeto de entrada do pool de faíscas, geralmente passado pelo pipeline.

Tipo:PSSynapseSparkPool
Position:Named
valor predefinido:None
Necessário:True
Accept pipeline input:True
Accept wildcard characters:False

-LibraryRequirementsFilePath

Arquivo de configuração do ambiente (saída "PIP freeze").

Tipo:String
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-MaxExecutorCount

Número máximo de executores a serem alocados no pool Spark especificado. Esse parâmetro pode ser especificado quando DynamicExecutorAllocation está habilitado. O valor deve estar entre 1 (inclusive) e maximumNodeCount (exclusive). Se não for especificado manualmente, o valor padrão será 2.

Tipo:Int32
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-MinExecutorCount

Número mínimo de executores a serem alocados no pool Spark especificado. Esse parâmetro pode ser especificado quando DynamicExecutorAllocation está habilitado. O valor deve estar entre 1 (inclusive) e maxExecutors (exclusivo). Se não for especificado manualmente, o valor padrão será 1.

Tipo:Int32
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-Name

Nome da piscina Synapse Spark.

Tipo:String
Aliases:SparkPoolName
Position:Named
valor predefinido:None
Necessário:True
Accept pipeline input:False
Accept wildcard characters:False

-NodeCount

Número de nós a serem alocados no pool de faíscas especificado.

Tipo:Int32
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-NodeSize

Número de núcleo e memória a serem usados para nós alocados no pool de faíscas especificado. Este parâmetro deve ser especificado quando a escala automática estiver desativada

Tipo:String
valores aceites:Small, Medium, Large, XLarge, XXLarge, XXXLarge
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-Package

Os pacotes de espaço de trabalho.

Tipo:List<T>[PSSynapseWorkspacePackage]
Aliases:WorkspacePackage
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-PackageAction

A ação do pacote deve ser especificada quando você adiciona ou remove um pacote de espaço de trabalho de um pool do Apache Spark.

Tipo:Microsoft.Azure.Commands.Synapse.Models.SynapseConstants+PackageActionType
valores aceites:Add, Remove, Set
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceGroupName

Nome do grupo de recursos.

Tipo:String
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-ResourceId

Identificador de recurso do pool Synapse Spark.

Tipo:String
Position:Named
valor predefinido:None
Necessário:True
Accept pipeline input:False
Accept wildcard characters:False

-SparkConfiguration

Configuração do Apache Spark. Quando um trabalho é enviado ao pool, as propriedades especificadas na configuração selecionada serão referenciadas.

Tipo:PSSparkConfigurationResource
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-SparkVersion

Versão do Apache Spark. Valores permitidos: 3.1,3.2,3.3

Tipo:String
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-Tag

Um dicionário string,string de tags associadas ao recurso.

Tipo:Hashtable
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-WhatIf

Apresenta o que aconteceria mediante a execução do cmdlet. O cmdlet não é executado.

Tipo:SwitchParameter
Aliases:wi
Position:Named
valor predefinido:None
Necessário:False
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceName

Nome do espaço de trabalho Sinapse.

Tipo:String
Position:Named
valor predefinido:None
Necessário:True
Accept pipeline input:False
Accept wildcard characters:False

-WorkspaceObject

objeto de entrada do espaço de trabalho, geralmente passado pelo pipeline.

Tipo:PSSynapseWorkspace
Position:Named
valor predefinido:None
Necessário:True
Accept pipeline input:True
Accept wildcard characters:False

Entradas

PSSynapseWorkspace

PSSynapseSparkPool

Saídas

PSSynapseSparkPool