HDInsight Hadoop kümelerinde Hue yükleme ve kullanma
HDInsight kümelerine Hue yüklemeyi ve istekleri Hue'ya yönlendirmek için tünel kullanmayı öğrenin.
Not
Hue, HDInsight 4.0 ve sonraki sürümlerde desteklenmez.
Hue nedir?
Hue, Apache Hadoop kümesiyle etkileşim kurmak için kullanılan bir Dizi Web uygulamasıdır. Hue'yu kullanarak hadoop kümesiyle ilişkili depolama alanına göz atabilirsiniz (HDInsight kümeleri söz konusu olduğunda WASB), Hive işleri ve Pig betikleri gibi işlemleri çalıştırabilirsiniz. HdInsight Hadoop kümesinde Hue yüklemeleriyle aşağıdaki bileşenler kullanılabilir.
- Beeswax Hive Düzenleyicisi
- Apache Pig
- Meta veri deposu yöneticisi
- Apache Oozie
- FileBrowser (WASB varsayılan kapsayıcısı ile konuşan)
- İş Tarayıcısı
Uyarı
HDInsight kümesiyle sağlanan bileşenler tam olarak desteklenir ve Microsoft Desteği bu bileşenlerle ilgili sorunları yalıtmaya ve çözmeye yardımcı olur.
Özel bileşenler, sorunu daha fazla gidermenize yardımcı olmak için ticari olarak makul bir destek alır. Bu, sorunun çözülmesine veya bu teknolojiye ilişkin derin uzmanlığın bulunduğu açık kaynak teknolojileri için kullanılabilir kanallarla etkileşim kurmanızı istemenize neden olabilir. Örneğin, kullanılabilecek birçok topluluk sitesi vardır: HDInsight için Microsoft Soru-Cevap soru sayfası, https://stackoverflow.com. Ayrıca Apache projelerinin üzerinde https://apache.orgproje siteleri vardır, örneğin: Hadoop.
Betik Eylemlerini kullanarak Hue yükleme
Betik Eyleminiz için aşağıdaki tabloda yer alan bilgileri kullanın. Betik Eylemlerini kullanmayla ilgili belirli yönergeler için bkz . Betik Eylemleri ile HDInsight kümelerini özelleştirme.
Not
HUE'yi HDInsight kümelerine yüklemek için önerilen baş düğüm boyutu en az A4 'tür (8 çekirdek, 14 GB bellek).
| Özellik | Değer |
|---|---|
| Betik türü: | -Özel |
| Veri Akışı Adı | Hue yükleme |
| Bash betik URI'si | https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh |
| Düğüm türleri: | Head |
Hive sorgusu çalıştırma
Hue portalından Sorgu Düzenleyicisi s'i ve ardından Hive'ı seçerek Hive düzenleyicisini açın.
Yardım sekmesindeki Veritabanı'nın altında hivesampletable ifadesini görmeniz gerekir. Bu, HDInsight üzerindeki tüm Hadoop kümeleriyle birlikte gönderilen örnek bir tablodur. Sağ bölmeye örnek bir sorgu girin ve ekran görüntüsünde gösterildiği gibi aşağıdaki bölmedeki Sonuçlar sekmesindeki çıkışı görün.
Sonucun görsel bir gösterimini görmek için Grafik sekmesini de kullanabilirsiniz.
Küme depolama alanına göz atın
Hue portalından menü çubuğunun sağ üst köşesindeki Dosya Tarayıcısı'nı seçin.
Varsayılan olarak dosya tarayıcısı /user/myuser dizininde açılır. Yoldaki kullanıcı dizininden hemen önce eğik çizgiyi seçerek kümeyle ilişkili Azure depolama kapsayıcısının köküne gidin.
Kullanılabilir işlemleri görmek için bir dosyaya veya klasöre sağ tıklayın. Dosyaları geçerli dizine yüklemek için sağ köşedeki Karşıya Yükle düğmesini kullanın. Yeni dosya veya dizin oluşturmak için Yeni düğmesini kullanın.
Not
Hue dosya tarayıcısı yalnızca HDInsight kümesiyle ilişkili varsayılan kapsayıcının içeriğini gösterebilir. Kümeyle ilişkilendirmiş olabileceğiniz ek depolama hesaplarına/kapsayıcılara dosya tarayıcısı kullanılarak erişilemez. Ancak, hive işleri için kümeyle ilişkili ek kapsayıcılara her zaman erişilebilir. Örneğin, Hive düzenleyicisine komutunu dfs -ls wasbs://newcontainer@mystore.blob.core.windows.net girerseniz, ek kapsayıcıların içeriğini de görebilirsiniz. Bu komutta newcontainer, bir kümeyle ilişkilendirilmiş varsayılan kapsayıcı değildir.
Dikkat edilmesi gereken önemli hususlar
Hue'u yüklemek için kullanılan betik bunu yalnızca kümenin birincil baş düğümüne yükler.
Yükleme sırasında, yapılandırmayı güncelleştirmek için birden çok Hadoop hizmeti (HDFS, YARN, MR2, Oozie) yeniden başlatılır. Betik Hue'yu yüklemeyi tamamladıktan sonra diğer Hadoop hizmetlerinin başlatılması biraz zaman alabilir. Bu, Başlangıçta Hue'nun performansını etkileyebilir. Tüm hizmetler başladıktan sonra Hue tamamen işlevsel olacaktır.
Hue, Hive için geçerli varsayılan olan Apache Tez işlerini anlamaz. Hive yürütme altyapısı olarak MapReduce kullanmak istiyorsanız betiği, betiğinizde aşağıdaki komutu kullanacak şekilde güncelleştirin:
set hive.execution.engine=mr;Linux kümelerinde, Resource Manager ikincil kümede çalışırken hizmetlerinizin birincil baş düğümde çalıştığı bir senaryonuz olabilir. Böyle bir senaryo, kümede ÇALıŞAN işlerin ayrıntılarını görüntülemek için Hue kullanılırken hatalara (aşağıda gösterilmiştir) neden olabilir. Ancak, iş tamamlandığında iş ayrıntılarını görüntüleyebilirsiniz.
Bunun nedeni bilinen bir sorundur. Geçici bir çözüm olarak, Etkin Resource Manager'ın birincil baş düğümde de çalışması için Ambari'yi değiştirin.
Hue, HdInsight kümeleri kullanarak
wasbs://Azure Depolama kullanırken WebHDFS'yi anlar. Bu nedenle, betik eylemiyle kullanılan özel betik, WASB ile konuşmak için WebHDFS uyumlu bir hizmet olan WebWasb'ı yükler. Bu nedenle, Hue portalı yerlerde HDFS dese de (farenizi Dosya Tarayıcısı üzerinde hareket ettirdiğinizde olduğu gibi), WASB olarak yorumlanmalıdır.