Solución de problemas de HDFS
Importante
El complemento Clústeres de macrodatos de Microsoft SQL Server 2019 se va a retirar. La compatibilidad con Clústeres de macrodatos de SQL Server 2019 finalizará el 28 de febrero de 2025. Todos los usuarios existentes de SQL Server 2019 con Software Assurance serán totalmente compatibles con la plataforma, y el software se seguirá conservando a través de actualizaciones acumulativas de SQL Server hasta ese momento. Para más información, consulte la entrada de blog sobre el anuncio y Opciones de macrodatos en la plataforma Microsoft SQL Server.
Este artículo contiene escenarios de solución de problemas de errores de HDFS en Clústeres de macrodatos de SQL Server 2019.
Solución de problemas del tamaño del montón de HDFS
Síntoma
En Clústeres de macrodatos de SQL Server: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)
Causa
Es posible que el tamaño del montón de HDFS no esté configurado correctamente. La configuración adecuada del montón de JVM del nodo de nombre depende de muchos factores, como el número de archivos y bloques, y la carga en el sistema HDFS. Para más información sobre cómo calcular el tamaño del montón, consulte Configuración del tamaño del montón del nodo de nombre.
Solución
En Clústeres de macrodatos de SQL Server, el tamaño del montón del proceso de nodo de nombre de HDFS se controla mediante la configuración de clústeres de macrodatos hdfs-env.HDFS_NAMENODE_OPTS; el valor predeterminado es 2 GB como se especifica en las propiedades de configuración de HDFS. Esta solución alternativa propone aumentar el tamaño del montón, que es un cambio de configuración global para todo el clúster de macrodatos.
La característica de configuración del entorno de ejecución de Clústeres de macrodatos de SQL Server está habilitada de forma predeterminada después de SQL Server 2019 CU9. Para continuar, actualice el clúster a CU9+, preferiblemente a la versión más reciente disponible. Para más información, consulte Notas de la versión de Clústeres de macrodatos de SQL Server.
Para aumentar el tamaño del montón del nodo de nombre de HDFS, siga la guía de configuración posterior a la implementación.
En el ejemplo siguiente se usa azdata para aumentar el montón del nodo de nombre de HDFS a 4 GB. Tenga en cuenta que esta operación solo está disponible en CU9 o versiones posteriores.
azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"
Para confirmar el cambio y supervisar el estado de actualización:
# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
# Apply the pending settings
azdata bdc settings apply
# Monitor the configuration update status
azdata bdc status show --all