Solucionar problemas do HDFS
Importante
O complemento Clusters de Big Data do Microsoft SQL Server 2019 será desativado. O suporte para Clusters de Big Data do SQL Server 2019 será encerrado em 28 de fevereiro de 2025. Todos os usuários existentes do SQL Server 2019 com Software Assurance terão suporte total na plataforma e o software continuará a ser mantido por meio de atualizações cumulativas do SQL Server até esse momento. Para obter mais informações, confira a postagem no blog de anúncio e as opções de Big Data na plataforma do Microsoft SQL Server.
Este artigo contém cenários de solução de problemas para erros do HDFS em Clusters de Big Data do SQL Server 2019.
Solucionar problemas do tamanho do heap do HDFS
Sintoma
Em Clusters de Big Data do SQL Server: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)
Causa
O tamanho do heap do HDFS pode não estar configurado corretamente. As configurações apropriadas do heap de JVM do namenode dependem de muitos fatores, como o número de arquivos e blocos, e a carga no sistema do HDFS. Para obter mais informações sobre como calcular o tamanho do heap, confira Configurar tamanho do heap do namenode.
Resolução
Em Clusters de Big Data do SQL Server, o tamanho do heap do processo namenode do HDFS é controlado pela configuração de clusters de big data hdfs-env.HDFS_NAMENODE_OPTS, o valor padrão é 2 GB, conforme especificado nas propriedades de configuração do HDFS. Essa solução alternativa propõe aumentar o tamanho do heap, que é uma alteração de configuração global para todo o cluster de Big Data.
O recurso de configuração de tempo de execução de Clusters de Big Data do SQL Server é habilitado por padrão após a versão CU9 do SQL Server 2019. Para continuar, atualize seu cluster para a CU9+, preferencialmente para a versão mais recente disponível. Para saber mais, confira Notas de Versão de Clusters de Big Data do SQL Server.
Para aumentar o tamanho do heap de namenode do HDFS, siga o Guia de configuração pós-implantação.
O exemplo a seguir usa azdata para aumentar o heap de namenode do HDFS para 4 GB. Observe que essa operação só está disponível na versão CU9 ou posterior.
azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"
Para confirmar a alteração e monitorar o status da atualização:
# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
# Apply the pending settings
azdata bdc settings apply
# Monitor the configuration update status
azdata bdc status show --all