Scenariusz: W węźle klastra zabraknie miejsca na dysku w usłudze Azure HDInsight

W tym artykule opisano kroki rozwiązywania problemów i możliwe rozwiązania problemów podczas interakcji z klastrami usługi Azure HDInsight.

Problem

Zadanie może zakończyć się niepowodzeniem z komunikatem o błędzie podobnym do następującego: /usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.

Może też zostać wyświetlony alert apache Ambari podobny do: local-dirs usable space is below configured utilization percentage.

Przyczyna

Pamięć podręczna aplikacji Apache Yarn mogła zużywać wszystkie dostępne miejsce na dysku. Aplikacja Platformy Spark prawdopodobnie działa nieefektywnie.

Rozwiązanie

1. Użyj interfejsu użytkownika systemu Ambari, aby określić, który węzeł brakuje miejsca na dysku.

2. Określ, który folder w niepokojącym węźle przyczynia się do większości miejsca na dysku. Najpierw uruchom połączenie SSH z węzłem, a następnie uruchom polecenie df , aby wyświetlić listę użycia dysku dla wszystkich instalacji. Zazwyczaj jest /mnt to dysk tymczasowy używany przez system operacyjny. Możesz wprowadzić w folderze, a następnie wpisać sudo du -hs polecenie , aby wyświetlić podsumowane rozmiary plików w folderze. Jeśli zostanie wyświetlony folder podobny do /mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007, dane wyjściowe będą oznaczać, że aplikacja jest nadal uruchomiona. Te dane wyjściowe mogą być spowodowane trwałością RDD lub pośrednimi plikami mieszania.

3. Aby rozwiązać ten problem, zabij aplikację, która zwolni miejsce na dysku używane przez tę aplikację.

4. Jeśli problem występuje często w węzłach procesu roboczego, możesz dostroić ustawienia lokalnej pamięci podręcznej usługi YARN w klastrze.

   Otwórz interfejs użytkownika systemu Ambari Przejdź do pozycji YARN --> Configs --> Advanced.
   Dodaj następujące dwie właściwości do sekcji niestandardowej yarn-site.xml i zapisz:

   yarn.nodemanager.localizer.cache.target-size-mb=2048
   yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000
   

5. Jeśli powyższe rozwiązanie problemu nie zostanie trwale rozwiązane, zoptymalizuj aplikację.

Następne kroki

Jeśli problem nie został wyświetlony lub nie możesz go rozwiązać, odwiedź jeden z następujących kanałów, aby uzyskać więcej pomocy technicznej:

• Uzyskaj odpowiedzi od ekspertów platformy Azure za pośrednictwem pomocy technicznej społeczności platformy Azure.

• Nawiąż połączenie z @AzureSupport — oficjalnym kontem platformy Microsoft Azure, aby ulepszyć środowisko klienta. Łączenie społeczności platformy Azure z odpowiednimi zasobami: odpowiedziami, pomocą techniczną i ekspertami.

• Jeśli potrzebujesz dodatkowej pomocy, możesz przesłać wniosek o pomoc techniczną w witrynie Azure Portal. Wybierz pozycję Pomoc techniczna na pasku menu lub otwórz centrum Pomoc i obsługa techniczna . Aby uzyskać bardziej szczegółowe informacje, zobacz How to create an pomoc techniczna platformy Azure request (Jak utworzyć żądanie pomoc techniczna platformy Azure). Dostęp do pomocy technicznej dotyczącej zarządzania subskrypcjami i rozliczeniami jest oferowany w ramach subskrypcji platformy Microsoft Azure, a pomoc techniczna jest świadczona w ramach jednego z planów pomocy technicznej platformy Azure.