Устранение неполадок c HDFS

  • Статья

Важно!

Поддержка надстройки "Кластеры больших данных" Microsoft SQL Server 2019 будет прекращена. Мы прекратим поддержку Кластеров больших данных SQL Server 2019 28 февраля 2025 г. Все существующие пользователи SQL Server 2019 с Software Assurance будут полностью поддерживаться на платформе, а программное обеспечение будет по-прежнему поддерживаться с помощью SQL Server накопительных обновлений до этого времени. Дополнительные сведения см. в записи блога объявлений и в статье о параметрах больших данных на платформе Microsoft SQL Server.

В этой статье приведены сценарии устранения ошибок с HDFS в Кластерах больших данных SQL Server 2019.

Устранение проблем с размером кучи HDFS

Симптом

В Кластерах больших данных SQL Server: [Big Data Cluster] - nmnode pods down with Failed to start namenode.java.lang.OutOfMemoryError: Java heap space and WARN util.JvmPauseMonitor: Detected pause in JVM or host machine (eg GC)

Причина

Возможно, размер кучи HDFS не настроен должным образом. Надлежащие параметры кучи виртуальной машины Java namenode зависят от множества факторов, таких как количество файлов и блоков, а также нагрузка на систему HDFS. Дополнительные сведения о вычислении размера кучи см. в статье Настройка размера кучи namenode.

Разрешение

В Кластерах больших данных SQL Server размер кучи процесса namenode HDFS управляется конфигурацией кластеров больших данных hdfs-env.HDFS_NAMENODE_OPTS, значение по умолчанию составляет 2 ГБ, как указано в свойствах конфигурации HDFS. Это решение предлагает увеличить размер кучи, что является глобальным изменением конфигурации для всего кластера больших данных.

Функция конфигурации среды выполнения Кластеров больших данных SQL Server включена по умолчанию для всех версий после SQL Server 2019 CU9. Для продолжения обновите кластер до версии CU9+ (желательно до последней доступной версии). Дополнительные сведения см. в заметках о выпуске Кластеров больших данных SQL Server.

Чтобы увеличить размер кучи namenode HDFS, воспользуйтесь руководством по настройке после развертывания.

В следующем примере используется azdata для увеличения размера кучи namenode HDFS до 4 ГБ. Учтите, что эта операция доступна только в CU9 или более поздней версии.

azdata bdc hdfs settings set --settings hdfs-env.HDFS_NAMENODE_OPTS="-Dhadoop.security.logger=INFO,RFAS -Xmx4g"

Чтобы подтвердить изменение и отслеживать состояние обновления, сделайте следующее:

# (Optional) View the pending change
azdata bdc settings show --filter-option=pending --include-details --recursive
 
# Apply the pending settings
azdata bdc settings apply
 
# Monitor the configuration update status
azdata bdc status show --all

См. также раздел

Дальнейшие действия