Сценарий: в узле кластера в Azure HDInsight заканчивается свободное дисковое пространство

Статья
06/12/2023

В этой статье описаны действия по устранению неполадок и возможные способы решения проблем при взаимодействии с кластерами Azure HDInsight.

Проблема

Задание может завершиться сбоем с сообщением об ошибке следующего вида: /usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.

Или вы можете получить предупреждение Apache Ambari, похожее на следующее: local-dirs usable space is below configured utilization percentage.

Причина

Возможно, кэш приложения Apache Yarn занял все доступное место на диске. Вероятно, приложение Spark работает неэффективно.

Решение

Используйте пользовательский интерфейс Ambari, чтобы определить, в каком узле заканчивается дисковое пространство.
Определите, какая папка в узле с неисправностью занимает больше всего места на диске. Сначала подключитесь к узлу по протоколу SSH, а затем выполните команду df, чтобы вывести сведения об использовании диска для всех подключений. Обычно это /mnt, то есть временный диск OSS. Можно войти в папку, а затем ввести sudo du -hs чтобы отобразились сводные размеры файлов в папке. Если в выходных данных отображается папка типа /mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007, то приложение все еще работает. Такие выходные данные возможны из-за сохраняемости RDD или промежуточных файлов перетасовки.
Чтобы устранить эту проблему, завершите работу приложения. При этом освободится место на диске, используемое этим приложением.
Если эта ошибка часто возникает в рабочих узлах, можно настроить параметры локального кэша YARN в кластере.

Откройте пользовательский интерфейс Ambari и перейдите к разделу YARN --> Configs (Конфигурации) --> Advanced (Дополнительно).
Добавьте следующие два свойства в раздел пользовательского файла yarn-site.xml и сохраните этот файл:
```
yarn.nodemanager.localizer.cache.target-size-mb=2048
yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000
```
Если описанные выше действия не помогут устранить проблему, оптимизируйте приложение.

Дальнейшие действия

Если вы не видите своего варианта проблемы или вам не удается ее устранить, дополнительные сведения можно получить, посетив один из следующих каналов.

Получите ответы специалистов Azure на сайте поддержки сообщества пользователей Azure.
Подпишитесь на @AzureSupport — официальный канал Microsoft Azure для улучшения качества взаимодействия с клиентами. Вступайте в сообщество Azure для получения нужных ресурсов: ответов, поддержки и советов экспертов.
Если вам нужна дополнительная помощь, отправьте запрос в службу поддержки на портале Azure. Выберите Поддержка в строке меню или откройте центр Справка и поддержка. Дополнительные сведения см. в статье Создание запроса на поддержку Azure. Доступ к управлению подписками и поддержкой выставления счетов уже включен в вашу подписку Microsoft Azure, а техническая поддержка предоставляется в рамках одного из планов Службы поддержки Azure.

Поделиться через