Instalowanie i używanie platformy Hue w klastrach hadoop w usłudze HDInsight

Dowiedz się, jak zainstalować platformę Hue w klastrach usługi HDInsight i użyć tunelowania w celu kierowania żądań do platformy Hue.

Uwaga

Funkcja Hue nie jest obsługiwana w usłudze HDInsight w wersji 4.0 lub nowszej.

Co to jest Hue?

Hue to zestaw aplikacji internetowych używanych do interakcji z klastrem Apache Hadoop. Możesz użyć narzędzia Hue, aby przeglądać przestrzeń przechowywania skojarzoną z klastrem Hadoop (WASB, w przypadku klastrów usługi HDInsight), uruchamiać zadania Hive i skrypty Pig, itd. Następujące składniki są dostępne w przypadku instalacji Hue w klastrze Hadoop usługi HDInsight.

• Edytor ula wosku pszczelego
• Apache Pig
• Menedżer magazynu metadanych
• Apache Oozie
• FileBrowser (który komunikuje się z domyślnym kontenerem WASB)
• Przeglądarka zadań

Ostrzeżenie

Składniki dostarczane z klastrem usługi HDInsight są w pełni obsługiwane, a pomoc techniczna firmy Microsoft pomoże odizolować i rozwiązać problemy związane z tymi składnikami.

Składniki niestandardowe otrzymują komercyjnie uzasadnioną pomoc techniczną w celu dalszego rozwiązywania problemu. Może to spowodować rozwiązanie problemu LUB prośbę o zaangażowanie dostępnych kanałów dla technologii open source, w których znaleziono głęboką wiedzę dotyczącą tej technologii. Na przykład istnieje wiele witryn społeczności, których można używać, takich jak: strona pytań i odpowiedzi firmy Microsoft dla usługi HDInsight, https://stackoverflow.com. Projekty Apache mają także strony projektowe na https://apache.org, na przykład: Hadoop.

Instalowanie aplikacji Hue przy użyciu akcji skryptu

Skorzystaj z informacji w poniższej tabeli dla akcji skryptu. Zobacz Dostosowywanie klastrów HDInsight za pomocą akcji skryptu, aby uzyskać szczegółowe instrukcje dotyczące używania akcji skryptu.

Uwaga

Aby zainstalować platformę Hue w klastrach usługi HDInsight, zalecany rozmiar węzła głównego to co najmniej A4 (8 rdzeni, 14 GB pamięci).

Nieruchomość / Majątek	Wartość
Typ skryptu:	- Niestandardowy
Nazwa	Instalowanie aplikacji Hue
Identyfikator URI skryptu Bash	https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh
Typy węzłów:	Głowa

Uruchomienie zapytania programu Hive

1. W portalu Hue wybierz pozycję Edytory zapytań, a następnie wybierz pozycję Hive , aby otworzyć edytor Hive.

   

2. Na karcie Asysta w obszarze Baza danych powinna zostać wyświetlona funkcja hivesampletable. Jest to przykładowa tabela dostarczana ze wszystkimi klastrami Hadoop w usłudze HDInsight. Wprowadź przykładowe zapytanie w okienku po prawej stronie i wyświetl dane wyjściowe na karcie Wyniki w okienku poniżej, jak pokazano na zrzucie ekranu.

   

   Możesz również użyć karty Wykres , aby wyświetlić wizualną reprezentację wyniku.

Przeglądanie magazynu klastra

1. W portalu Hue wybierz pozycję Przeglądarka plików w prawym górnym rogu paska menu.

2. Domyślnie przeglądarka plików zostanie otwarta w katalogu /user/myuser . Wybierz ukośnik bezpośrednio przed katalogiem użytkownika w ścieżce, by przejść do katalogu głównego kontenera usługi Azure Storage związanego z klastrem.

   

3. Kliknij prawym przyciskiem myszy plik lub folder, aby wyświetlić dostępne operacje. Użyj przycisku Przekaż w prawym rogu, aby przekazać pliki do bieżącego katalogu. Użyj przycisku Nowy , aby utworzyć nowe pliki lub katalogi.

Uwaga

Przeglądarka plików Hue może wyświetlać tylko zawartość domyślnego kontenera skojarzonego z klastrem usługi HDInsight. Wszystkie ewentualnie dodatkowe konta magazynu lub kontenery, które mogą być skojarzone z klastrem, nie będą dostępne w przeglądarce plików. Jednak dodatkowe pojemniki skojarzone z klastrem będą zawsze dostępne na potrzeby zadań Hive. Jeśli na przykład wprowadzisz polecenie dfs -ls wasbs://newcontainer@mystore.blob.core.windows.net w edytorze Hive, zobaczysz również zawartość dodatkowych kontenerów. W tym poleceniu newcontainer nie jest kontenerem domyślnym skojarzonym z klastrem.

Ważne uwagi

1. Skrypt używany do instalowania aplikacji Hue instaluje go tylko w podstawowym węźle głównym klastra.

2. Podczas instalacji wiele usług Hadoop (HDFS, YARN, MR2, Oozie) jest ponownie uruchamianych w celu zaktualizowania konfiguracji. Po zakończeniu instalowania skryptu Hue uruchomienie innych usług Hadoop może zająć trochę czasu. Początkowo może to mieć wpływ na wydajność Hue'a. Po uruchomieniu wszystkich usług Hue będzie w pełni funkcjonalny.

3. Hue nie rozumie zadań Apache Tez, które są obecnie domyślne dla programu Hive. Jeśli chcesz użyć narzędzia MapReduce jako aparatu wykonywania programu Hive, zaktualizuj skrypt, aby użyć następującego polecenia w skrypcie:

   set hive.execution.engine=mr;

4. W przypadku klastrów systemu Linux możesz mieć scenariusz, w którym usługi są uruchomione w podstawowym węźle głównym, podczas gdy usługa Resource Manager może być uruchomiona w pomocniczym. Taki scenariusz może spowodować błędy (pokazane poniżej) w przypadku używania hue do wyświetlania szczegółów uruchomionych zadań w klastrze. Można jednak wyświetlić szczegóły zadania po zakończeniu zadania.

   

   Jest to spowodowane znanym problemem. Aby obejść ten problem, zmodyfikuj system Ambari, tak aby aktywny menedżer zasobów był również uruchamiany w podstawowym węźle głównym.

5. Hue rozumie system plików WebHDFS, podczas gdy klastry usługi HDInsight używają usługi Azure Storage przy użyciu usługi wasbs://. Dlatego skrypt niestandardowy używany z akcją skryptu instaluje webWasb, która jest usługą zgodną z webHDFS do rozmowy z WASB. Tak więc, mimo że portal Hue mówi HDFS w miejscach (na przykład po przeniesieniu myszy przez przeglądarkę plików), powinien być interpretowany jako WASB.

Następne kroki

Dostosowywanie klastrów usługi HDInsight za pomocą akcji skryptu