進行 HDFS 的疑難排解

  • 發行項

重要

Microsoft SQL Server 2019 巨量資料叢集附加元件將會淘汰。 SQL Server 2019 巨量資料叢集的支援將於 2025 年 2 月 28 日結束。 平台上將完全支援含軟體保證 SQL Server 2019 的所有現有使用者，而且軟體將會持續透過 SQL Server 累積更新來維護，直到該時間為止。 如需詳細資訊，請參閱公告部落格文章與 Microsoft SQL Server 平台上的巨量資料選項。

本文包含 SQL Server 2019 巨量資料叢集中 HDFS 錯誤的疑難排解情節。

針對 HDFS 堆積大小進行疑難排解

徵狀

在 SQL Server 巨量資料叢集中：[Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)

原因

可能無法適當地設定 HDFS 堆積大小。 namenode JVM 堆積的適當設定取決於許多因素，例如檔案和區塊數目，以及 HDFS 系統上的負載。 如需計算堆積大小的詳細資訊，請參閱設定 namenode 堆積大小。

解決方法

在 SQL Server 巨量資料叢集中，HDFS namenode 程序的堆積大小是由巨量資料叢集設定 hdfs-env.HDFS_NAMENODE_OPTS 所控制，預設值為 HDFS 設定屬性中所指定的 2 GB。 此因應措施建議增加堆積大小，這是整個巨量資料叢集的全域設定變更。

在 SQL Server 2019 CU9 之後，預設會啟用 SQL Server 巨量資料叢集執行階段設定功能。 若要繼續，請將叢集升級至 CU9+，最好是可用的最新版本。 如需詳細資訊，請參閱 SQL Server 巨量資料叢集版本資訊。

若要增加 HDFS namenode 的堆積大小，請遵循部署後設定指南。

下列範例會使用 azdata 以將 HDFS namenode 堆積增加為 4 GB。 請注意，這項作業僅適用於 CU9 或更新版本。

azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"

確認變更並監視更新狀態：

# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
 
# Apply the pending settings
azdata bdc settings apply
 
# Monitor the configuration update status
azdata bdc status show --all

另請參閱

下一步