Senaryo: Azure HDInsight'ta küme düğümünde disk alanı yetersiz

Bu makalede, Azure HDInsight kümeleriyle etkileşim kurarken karşılaşılan sorunlara yönelik sorun giderme adımları ve olası çözümler açıklanmaktadır.

Sorun

Bir iş aşağıdakine benzer bir hata iletisiyle başarısız olabilir: /usr/hdp/2.6.3.2-14/hadoop/libexec/hadoop-config.sh: fork: No space left on device.

Veya şuna benzer bir Apache Ambari uyarısı alabilirsiniz: local-dirs usable space is below configured utilization percentage.

Nedeni

Apache Yarn uygulama önbelleği tüm kullanılabilir disk alanını tüketmiş olabilir. Spark uygulamanız büyük olasılıkla verimli çalışmıyordur.

Çözüm

1. Hangi düğümün disk alanı yetersiz olduğunu belirlemek için Ambari kullanıcı arabirimini kullanın.

2. Sorunlu düğümdeki hangi klasörün disk alanının çoğuna katkıda buluneceğini belirleyin. Önce düğüme SSH gönderin, ardından komutunu çalıştırarak df tüm bağlamalar için disk kullanımını listeleyin. /mnt Genellikle OSS tarafından kullanılan geçici bir disktir. Bir klasöre girebilir ve ardından bir klasörün altında özetlenmiş dosya boyutlarını göstermek için yazabilirsiniz sudo du -hs . benzer /mnt/resource/hadoop/yarn/local/usercache/livy/appcache/application_1537280705629_0007bir klasör görürseniz, bu çıkış uygulamanın hala çalıştığı anlamına gelir. Bu çıkış RDD kalıcılığı veya ara karıştırma dosyaları nedeniyle olabilir.

3. Sorunu azaltmak için uygulamayı kapatın. Bu işlem, söz konusu uygulama tarafından kullanılan disk alanını serbest bırakır.

4. Sorun çalışan düğümlerinde sık sık ortaya çıkarsa, kümedeki YARN yerel önbellek ayarlarını ayarlayabilirsiniz.

   Ambari kullanıcı arabirimini açın YARN --> Yapılandırmalar --> Gelişmiş'e gidin.
   Özel yarn-site.xml bölümüne aşağıdaki iki özelliği ekleyin ve kaydedin:

   yarn.nodemanager.localizer.cache.target-size-mb=2048
   yarn.nodemanager.localizer.cache.cleanup.interval-ms=300000
   

5. Yukarıdakiler sorunu kalıcı olarak çözmezse uygulamanızı iyileştirin.

Sonraki adımlar

Sorununuzu görmediyseniz veya sorununuzu çözemiyorsanız daha fazla destek için aşağıdaki kanallardan birini ziyaret edin:

• Azure Topluluk Desteği aracılığıyla Azure uzmanlarından yanıt alın.

• Müşteri deneyimini geliştirmek için resmi Microsoft Azure hesabı olan @AzureSupport ile bağlantı kurun. Azure topluluğunun doğru kaynaklara bağlanması: yanıtlar, destek ve uzmanlar.

• Daha fazla yardıma ihtiyacınız varsa Azure portal bir destek isteği gönderebilirsiniz. Menü çubuğundan Destek'i seçin veya Yardım + destek hub'ını açın. Daha ayrıntılı bilgi için bkz. Azure desteği isteği oluşturma. Abonelik Yönetimi ve faturalama desteğine erişim, Microsoft Azure aboneliğinize dahildir ve Teknik Destek, Azure Destek Planlarından biri aracılığıyla sağlanır.