Compartilhar via

az synapse spark pool

  • Referência

Gerenciar pools do Spark.

Comandos

Nome Description Tipo Status
az synapse spark pool create

Crie um pool do Spark.

 Núcleo GA
az synapse spark pool delete

Exclua um pool do Spark.

 Núcleo GA
az synapse spark pool list

Liste todas as piscinas do Spark.

 Núcleo GA
az synapse spark pool show

Obtenha uma piscina Spark.

 Núcleo GA
az synapse spark pool update

Atualize o pool do Spark.

 Núcleo GA
az synapse spark pool wait

Coloque a CLI em um estado de espera até que uma condição de um pool do Spark seja atendida.

 Núcleo GA

az synapse spark pool create

Editar

Crie um pool do Spark.

az synapse spark pool create --name
                             --node-count
                             --node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}
                             --resource-group
                             --spark-version
                             --workspace-name
                             [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--no-wait]
                             [--node-size-family {HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None}]
                             [--spark-config-file-path]
                             [--spark-events-folder]
                             [--spark-log-folder]
                             [--tags]

Exemplos

Crie um pool do Spark.

az synapse spark pool create --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-version 2.4 --node-count 3 --node-size Medium --spark-config-file-path 'path/configfile.txt'

Parâmetros Exigidos

--name -n

O nome da piscina Spark.

--node-count

O número de nó.

--node-size

O nível de poder computacional que cada nó no pool de Big Data tem..

valores aceitos: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--spark-version

A versão suportada do Spark é 2.4 agora.

--workspace-name

O nome do espaço de trabalho.

Parâmetros Opcionais

--delay

O tempo de atraso cuja unidade é minuto.

--enable-auto-pause

O sinalizador de ativação da pausa automática.

valores aceitos: false, true
--enable-auto-scale

O sinalizador de habilitação do dimensionamento automático.

valores aceitos: false, true
--enable-dynamic-exec

Indica se a Alocação de Executor Dinâmico está habilitada ou não.

valores aceitos: false, true
--max-executors

O número máximo de executores alocados.

--max-node-count

A contagem máxima de nós.

--min-executors

O número mínimo de executores alocados.

--min-node-count

A contagem mínima do nó.

--no-wait

Não aguarde a conclusão da operação de execução longa.

valor padrão: False
--node-size-family

O tipo de nós que o pool de Big Data fornece.

valores aceitos: HardwareAcceleratedFPGA, HardwareAcceleratedGPU, MemoryOptimized, None
valor padrão: MemoryOptimized
--spark-config-file-path

Caminho absoluto do arquivo de configuração de propriedades do pool do Spark.

--spark-events-folder

A pasta de eventos do Spark.

valor padrão: /events
--spark-log-folder

A pasta de log padrão do Spark.

valor padrão: /logs
--tags

Tags separadas por espaço: key[=value] [key[=value] ...]. Use "" para limpar as tags existentes.

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az synapse spark pool delete

Editar

Exclua um pool do Spark.

az synapse spark pool delete [--ids]
                             [--name]
                             [--no-wait]
                             [--resource-group]
                             [--subscription]
                             [--workspace-name]
                             [--yes]

Exemplos

Exclua um pool do Spark.

az synapse spark pool delete --name testpool --workspace-name testsynapseworkspace --resource-group rg

Parâmetros Opcionais

--ids

Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser um ID de recurso completo contendo todas as informações dos argumentos 'Resource Id'. Você deve fornecer --ids ou outros argumentos 'Resource Id'.

--name -n

O nome da piscina Spark.

--no-wait

Não aguarde a conclusão da operação de execução longa.

valor padrão: False
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--workspace-name

O nome do espaço de trabalho.

--yes -y

Não solicite confirmação.

valor padrão: False
Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az synapse spark pool list

Editar

Liste todas as piscinas do Spark.

az synapse spark pool list --resource-group
                           --workspace-name

Exemplos

Liste todas as piscinas do Spark.

az synapse spark pool list --workspace-name testsynapseworkspace --resource-group rg

Parâmetros Exigidos

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--workspace-name

O nome do espaço de trabalho.

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az synapse spark pool show

Editar

Obtenha uma piscina Spark.

az synapse spark pool show [--ids]
                           [--name]
                           [--resource-group]
                           [--subscription]
                           [--workspace-name]

Exemplos

Obtenha uma piscina Spark.

az synapse spark pool show --name testpool --workspace-name testsynapseworkspace --resource-group rg

Parâmetros Opcionais

--ids

Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser um ID de recurso completo contendo todas as informações dos argumentos 'Resource Id'. Você deve fornecer --ids ou outros argumentos 'Resource Id'.

--name -n

O nome da piscina Spark.

--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--workspace-name

O nome do espaço de trabalho.

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az synapse spark pool update

Editar

Atualize o pool do Spark.

az synapse spark pool update [--delay]
                             [--enable-auto-pause {false, true}]
                             [--enable-auto-scale {false, true}]
                             [--enable-dynamic-exec {false, true}]
                             [--force {false, true}]
                             [--ids]
                             [--library-requirements]
                             [--max-executors]
                             [--max-node-count]
                             [--min-executors]
                             [--min-node-count]
                             [--name]
                             [--no-wait]
                             [--node-count]
                             [--node-size {Large, Medium, None, Small, XLarge, XXLarge, XXXLarge}]
                             [--package]
                             [--package-action {Add, Remove}]
                             [--resource-group]
                             [--spark-config-file-path]
                             [--subscription]
                             [--tags]
                             [--workspace-name]

Exemplos

Atualize as tags do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--tags key1=value1

Atualize a configuração de dimensionamento automático do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-auto-scale --min-node-count 3 --max-node-count 100

Atualize as bibliotecas personalizadas do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--package-action Add --package package1.jar package2.jar

Atualize o arquivo de configuração do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--spark-config-file-path 'path/configfile.txt'

Atualize a configuração de alocação de executor dinâmico do pool do Spark.

az synapse spark pool update --name testpool --workspace-name testsynapseworkspace --resource-group rg \
--enable-dynamic-exec --min-executors 3 --max-executors 10

Parâmetros Opcionais

--delay

O tempo de atraso cuja unidade é minuto.

--enable-auto-pause

O sinalizador de ativação da pausa automática.

valores aceitos: false, true
--enable-auto-scale

O sinalizador de habilitação do dimensionamento automático.

valores aceitos: false, true
--enable-dynamic-exec

Indica se a Alocação de Executor Dinâmico está habilitada ou não.

valores aceitos: false, true
--force

A bandeira da operação da força.

valores aceitos: false, true
valor padrão: False
--ids

Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser um ID de recurso completo contendo todas as informações dos argumentos 'Resource Id'. Você deve fornecer --ids ou outros argumentos 'Resource Id'.

--library-requirements

O arquivo de requisitos da biblioteca.

--max-executors

O número máximo de executores alocados.

--max-node-count

A contagem máxima de nós.

--min-executors

O número mínimo de executores alocados.

--min-node-count

A contagem mínima do nó.

--name -n

O nome da piscina Spark.

--no-wait

Não aguarde a conclusão da operação de execução longa.

valor padrão: False
--node-count

O número de nó.

--node-size

O nível de poder computacional que cada nó no pool de Big Data tem..

valores aceitos: Large, Medium, None, Small, XLarge, XXLarge, XXXLarge
--package

Lista de nomes de pacotes de espaço de trabalho.

--package-action

A ação do pacote deve ser especificada quando você adiciona ou remove um pacote de espaço de trabalho de um pool do Apache Spark.

valores aceitos: Add, Remove
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--spark-config-file-path

Caminho absoluto do arquivo de configuração de propriedades do pool do Spark.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--tags

Tags separadas por espaço: key[=value] [key[=value] ...]. Use "" para limpar as tags existentes.

--workspace-name

O nome do espaço de trabalho.

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.

az synapse spark pool wait

Editar

Coloque a CLI em um estado de espera até que uma condição de um pool do Spark seja atendida.

az synapse spark pool wait --big-data-pool-name
                           [--created]
                           [--custom]
                           [--deleted]
                           [--exists]
                           [--ids]
                           [--interval]
                           [--resource-group]
                           [--subscription]
                           [--timeout]
                           [--updated]
                           [--workspace-name]

Parâmetros Exigidos

--big-data-pool-name

Nome do pool de Big Data.

Parâmetros Opcionais

--created

Aguarde até criar com 'provisioningState' em 'Succeeded'.

valor padrão: False
--custom

Aguarde até que a condição satisfaça uma consulta JMESPath personalizada. Por exemplo, provisioningState!='InProgress', instanceView.statuses[?code=='PowerState/running'].

--deleted

Aguarde até ser excluído.

valor padrão: False
--exists

Aguarde até que o recurso exista.

valor padrão: False
--ids

Uma ou mais IDs de recurso (delimitadas por espaço). Deve ser um ID de recurso completo contendo todas as informações dos argumentos 'Resource Id'. Você deve fornecer --ids ou outros argumentos 'Resource Id'.

--interval

Intervalo de sondagem em segundos.

valor padrão: 30
--resource-group -g

Nome do grupo de recursos. Você pode configurar o grupo padrão usando az configure --defaults group=<name>.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--timeout

Espera máxima em segundos.

valor padrão: 3600
--updated

Aguarde até que seja atualizado com provisioningState em 'Succeeded'.

valor padrão: False
--workspace-name

O nome do espaço de trabalho.

Parâmetros Globais
--debug

Aumente o detalhamento do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

valores aceitos: json, jsonc, none, table, tsv, yaml, yamlc
valor padrão: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da assinatura. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumentar o detalhamento do log. Use --debug para logs de depuração completos.