Como configurar a pós-implantação de definições do cluster de Big Data

Aplica-se a: SQL Server 2019 (15.x)

Importante

O complemento Clusters de Big Data do Microsoft SQL Server 2019 será desativado. O suporte para Clusters de Big Data do SQL Server 2019 será encerrado em 28 de fevereiro de 2025. Todos os usuários existentes do SQL Server 2019 com Software Assurance terão suporte total na plataforma e o software continuará a ser mantido por meio de atualizações cumulativas do SQL Server até esse momento. Para obter mais informações, confira a postagem no blog de anúncio e as opções de Big Data na plataforma do Microsoft SQL Server.

As definições com escopo de cluster, serviço e recurso para Clusters de Big Data do SQL Server podem ser configuradas após a implantação por meio da CLI do azdata. Essa funcionalidade permite que os administradores do Clusters de Big Data do SQL Server ajustem as configurações para ele sempre atender aos requisitos de carga de trabalho. Este artigo explica os cenários de exemplo sobre como configurar o fuso horário e os requisitos de carga de trabalho do Spark. A funcionalidade de configuração pós-implantação segue um fluxo set, diff, apply.

Observação

As configurações de pós-implantação só estão disponíveis nas implantações do Clusters de Big Data do SQL Server de versão CU9 e posteriores. A definição de configurações não inclui a configuração de escala, armazenamento nem ponto de extremidade. Opções e instruções para configurar o Clusters de Big Data do SQL Server de versões anteriores à CU9 podem ser encontradas aqui.

Cenário passo a passo: configurar o fuso horário no Clusters de Big Data do SQL Server

A partir do Clusters de Big Data do SQL Server CU13, é possível personalizar a configuração de fuso horário do cluster, de modo que os carimbos de data/hora dos serviços se alinhem com o fuso horário selecionado. A configuração não se aplica ao plano de controle do cluster de Big Data, ela define a nova configuração de fuso horário para todos os pools do SQL Server (mestre, computação e dados), componentes do Hadoop e Spark.

Observação

Por padrão, Clusters de Big Data do SQL Server define UTC como o fuso horário.

Use o seguinte comando para definir a configuração de fuso horário:

azdata bdc settings set --settings bdc.timezone=America/Los_Angeles

Aplicar as configurações pendentes ao cluster

O comando a seguir aplicará a configuração e reiniciará todos os serviços. Examine as últimas seções deste artigo sobre como rastrear as alterações e controlar o processo de configuração.

azdata bdc settings apply

Cenário passo a passo: configurar o cluster para atender aos requisitos de carga de trabalho do Spark

Exibir as configurações atuais do serviço Spark do cluster de Big Data

O exemplo a seguir mostra como exibir as configurações definidas pelo usuário do serviço Spark. Por meio de parâmetros opcionais, você pode exibir todas as definições configuráveis possíveis, as definições pendentes ou aquelas gerenciadas pelo sistema juntamente com todas as definições configuráveis. Visite a instrução azdata bdc spark para obter mais informações.

azdata bdc spark settings show

Saída de exemplo

Serviço Spark

Configuração	Valor em uso
spark-defaults-conf.spark.driver.cores	1
spark-defaults-conf.spark.driver.memory	1664m

Alterar o número padrão de núcleos e memória para o driver do Spark

Atualize o número padrão de núcleos para dois e a memória padrão para 7.424 MB para o serviço Spark. Isso afeta todos os recursos com o Spark para o serviço Spark.

azdata bdc spark settings set --settings spark-defaults-conf.spark.driver.cores=2,spark-defaults-conf.spark.driver.memory=7424m

Alterar o número padrão de núcleos e memória para os executores do Spark no pool de armazenamento

Atualize o número padrão de núcleos do executor para quatro para o Pool de Armazenamento.

azdata bdc spark settings set --settings spark-defaults-conf.spark.executor.cores=4 --resource=storage-0

Configurar caminhos adicionais para o classpath padrão de aplicativos Spark

O caminho /opt/hadoop/share/hadoop/tools/lib/ contém várias bibliotecas a serem usadas pelos aplicativos Spark, mas o caminho referenciado não é carregado por padrão no classpath dos aplicativos Spark. Para habilitar essa configuração, aplique o padrão de configuração a seguir.

azdata bdc hdfs settings set --settings hadoop-env.HADOOP_CLASSPATH="/opt/hadoop/share/hadoop/tools/lib/*"

Exibir as alterações de configurações pendentes preparadas no cluster de Big Data

Exiba as alterações de configurações pendentes somente para o serviço Spark e em todo o cluster de Big Data.

Configurações do Serviço Spark pendentes

azdata bdc spark settings show --filter-option=pending --include-details

Serviço Spark

Configuração	Valor em uso	Valor Configurado	Configurável	Configurado	Hora da Última Atualização
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Todas as Configurações Pendentes

azdata bdc settings show --filter-option=pending --include-details --recursive

Configurações do Serviço Spark – Pendentes

Configuração	Valor em uso	Valor Configurado	Configurável	Configurado	Hora da Última Atualização
spark-defaults-conf.spark.driver.cores	1	2	true	true
spark-defaults-conf.spark.driver.memory	1664m	7424m	true	true

Configurações do Spark do Recurso Storage-0 – Pendente

Configuração	Valor em uso	Valor Configurado	Configurável	Configurado	Hora da Última Atualização
spark-defaults-conf.spark.executor.cores	1	4	true	true

Aplicar as configurações pendentes ao cluster de Big Data

azdata bdc settings apply

Monitorar o status da atualização de configuração

azdata bdc status show

Etapas opcionais

Reverter definições de configuração pendentes

Se você determinar que não deseja mais alterar as definições de configuração pendentes, poderá anular a preparação dessas configurações. Isso reverterá as configurações pendentes em todos os escopos.

azdata bdc settings revert

Anular a atualização da configuração

Se a atualização da configuração falhar para qualquer um dos componentes, você poderá cancelar o processo de atualização e fazer com que o cluster retorne para as configurações anteriores. As configurações que foram preparadas para alteração durante a atualização serão listadas novamente como configurações pendentes.

azdata bdc settings cancel-apply

Próximas etapas

Configurar um cluster de Big Data do SQL Server