HDFS のトラブルシューティング

  • [アーティクル]

重要

Microsoft SQL Server 2019 ビッグ データ クラスターのアドオンは廃止されます。 SQL Server 2019 ビッグ データ クラスターのサポートは、2025 年 2 月 28 日に終了します。 ソフトウェア アシュアランス付きの SQL Server 2019 を使用する既存の全ユーザーはプラットフォームで完全にサポートされ、ソフトウェアはその時点まで SQL Server の累積更新プログラムによって引き続きメンテナンスされます。 詳細については、お知らせのブログ記事と「Microsoft SQL Server プラットフォームのビッグ データ オプション」を参照してください。

この記事には、SQL Server 2019 ビッグ データ クラスターでの HDFS エラーに関するトラブルシューティングのシナリオが含まれます。

HDFS ヒープ サイズのトラブルシューティング

症状

SQL Server ビッグ データ クラスターで: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)

原因

HDFS のヒープ サイズが正しく構成されていない可能性があります。 namenode の JVM ヒープの適切な設定は、ファイルとブロックの数や、HDFS システムの負荷など、多くの要因に依存します。 ヒープ サイズの計算について詳しくは、「NameNode ヒープ サイズの構成」をご覧ください。

解決策

SQL Server ビッグ データ クラスターでの HDFS namenode プロセスのヒープ サイズは、ビッグ データ クラスターの構成 hdfs-env.HDFS_NAMENODE_OPTS によって制御されます。既定値は、HDFS 構成プロパティで指定されている 2 GB です。 この回避策では、ヒープ サイズを増やすことをお勧めします。これは、ビッグ データ クラスター全体のグローバル構成の変更です。

SQL Server ビッグ データ クラスター ランタイムの構成機能は、SQL Server 2019 CU9 の後は既定で有効になります。 続行するには、クラスターを CU9 以降 (できれば利用可能な最新バージョン) にアップグレードします。 詳しくは、SQL Server ビッグ データ クラスターのリリース ノートに関するページをご覧ください。

HDFS namenode のヒープ サイズを増やすには、配置後の構成ガイドに関するページに従ってください。

次の例では、azdata を使用して HDFS namenode のヒープを 4 GB に増やしています。 この操作は、CU9 以降でのみ使用できます。

azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"

変更を確認し、更新の状態を監視するには:

# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
 
# Apply the pending settings
azdata bdc settings apply
 
# Monitor the configuration update status
azdata bdc status show --all

関連項目

次の手順