Résoudre des problèmes HDFS
Important
Le module complémentaire Clusters Big Data Microsoft SQL Server 2019 sera mis hors service. La prise en charge de la plateforme Clusters Big Data Microsoft SQL Server 2019 se terminera le 28 février 2025. Tous les utilisateurs existants de SQL Server 2019 avec Software Assurance seront entièrement pris en charge sur la plateforme, et le logiciel continuera à être maintenu par les mises à jour cumulatives SQL Server jusqu’à ce moment-là. Pour plus d’informations, consultez le billet de blog d’annonce et les Options Big Data sur la plateforme Microsoft SQL Server.
Cet article contient des scénarios de résolution des problèmes pour les erreurs HDFS dans les Clusters Big Data SQL Server 2019.
Résolution des problèmes relatifs à la taille du segment de mémoire HDFS
Symptôme
Dans les Clusters Big Data SQL Server : [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)
Cause
La taille du segment de mémoire HDFS n’est peut-être pas correctement configurée. Les paramètres appropriés du segment de mémoire JVM de namenode dépendent de nombreux facteurs, tels que le nombre de fichiers et de blocs, ainsi que la charge sur le système HDFS. Pour plus d’informations sur le calcul de la taille du segment de mémoire, consultez Configuration de la taille du segment de mémoire namenode.
Résolution
Dans les Clusters Big Data SQL Server, la taille du segment de mémoire du processus HDFS namenode est contrôlée par la configuration des clusters Big Data hdfs-env.HDFS_NAMENODE_OPTS, la valeur par défaut est de 2 Go, comme spécifié dans les propriétés de configuration de HDFS. Cette solution de contournement suggère d’agrandir la taille du segment de mémoire, qui est une modification de la configuration globale pour l’ensemble du cluster Big Data.
La fonctionnalité de configuration de série de tests des Clusters Big Data SQL Server est activée par défaut après SQL Server 2019 CU9. Pour continuer, mettez à niveau votre cluster vers CU9+, de préférence vers la dernière version disponible. Pour plus d’informations, consultez Notes de publication des Clusters Big Data SQL Server.
Pour augmenter la taille du segment de mémoire du namenode HDFS, suivez le guide de configuration après le déploiement.
L’exemple suivant utilise azdata pour augmenter le segment de mémoire du namenode HDFS à 4 Go. Notez que cette opération est uniquement disponible dans CU9 ou version ultérieure.
azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"
Pour confirmer la modification et surveiller l’état de la mise à jour :
# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
# Apply the pending settings
azdata bdc settings apply
# Monitor the configuration update status
azdata bdc status show --all