Problembehandlung bei HDFS
Wichtig
Das Microsoft SQL Server 2019-Big Data-Cluster-Add-On wird eingestellt. Der Support für SQL Server 2019-Big Data-Clusters endet am 28. Februar 2025. Alle vorhandenen Benutzer*innen von SQL Server 2019 mit Software Assurance werden auf der Plattform vollständig unterstützt, und die Software wird bis zu diesem Zeitpunkt weiterhin über kumulative SQL Server-Updates verwaltet. Weitere Informationen finden Sie im Ankündigungsblogbeitrag und unter Big Data-Optionen auf der Microsoft SQL Server-Plattform.
Dieser Artikel enthält Szenarien zur Problembehandlung für HDFS-Fehler in SQL Server 2019-Big Data-Clustern.
Behandeln von Problemen mit der HDFS-Heapgröße
Symptom
In SQL Server-Big Data-Clustern: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)
Ursache
Die HDFS-Heapgröße ist möglicherweise nicht ordnungsgemäß konfiguriert. Die richtigen Einstellungen für den JVM-Heap des NameNodes hängen von vielen Faktoren ab, z. B. der Anzahl von Dateien und Blöcken und der Auslastung des HDFS-Systems. Weitere Informationen zum Berechnen der Heapgröße finden Sie unter Konfigurieren der NameNode-Heapgröße.
Lösung
In SQL Server-Big Data-Clustern wird die Heapgröße des HDFS-NameNode-Prozesses durch die Konfiguration von Big Data-Clustern (hdfs-env.HDFS_NAMENODE_OPTS) gesteuert. Der Standardwert beträgt 2 GB, wie in den HDFS-Konfigurationseigenschaften angegeben. Diese Problemumgehung schlägt vor, die Heapgröße zu erhöhen. Hierbei handel es sich um eine globale Konfigurationsänderung für den gesamten Big Data-Cluster.
Das Runtimekonfigurationsfeature für SQL Server-Big Data-Cluster ist nach SQL Server 2019 CU9 standardmäßig aktiviert. Um fortzufahren, führen Sie ein Upgrade Ihres Clusters auf CU9 und höher durch, vorzugsweise auf die neueste verfügbare Version. Weitere Informationen finden Sie in den Versionshinweisen zu SQL Server-Big Data-Clustern.
Um die Heapgröße des HDFS-NameNodes zu erhöhen, befolgen Sie den Leitfaden für die Konfiguration nach der Bereitstellung.
Im folgenden Beispiel wird azdata verwendet, um den HDFS-NameNode-Heap auf 4 GB zu erhöhen. Beachten Sie, dass dieser Vorgang nur in CU9 oder höher verfügbar ist.
azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"
So bestätigen Sie die Änderung und überwachen den Updatestatus
# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
# Apply the pending settings
azdata bdc settings apply
# Monitor the configuration update status
azdata bdc status show --all