Dela via


Installera och använda Hue i HDInsight Hadoop-kluster

Lär dig hur du installerar Hue i HDInsight-kluster och använder tunneltrafik för att dirigera begäranden till Hue.

Kommentar

Hue stöds inte i HDInsight 4.0 och senare.

Vad är Hue?

Hue är en uppsättning webbprogram som används för att interagera med ett Apache Hadoop-kluster. Du kan använda Hue för att bläddra i lagringen som är associerad med ett Hadoop-kluster (WASB, när det gäller HDInsight-kluster), köra Hive-jobb och Pig-skript och så vidare. Följande komponenter är tillgängliga med Hue-installationer i ett HDInsight Hadoop-kluster.

  • Beeswax Hive-redigerare
  • Apache Pig
  • Metaarkivhanterare
  • Apache Oozie
  • FileBrowser (som pratar med WASB-standardcontainern)
  • Jobbwebbläsare

Varning

Komponenter som medföljer HDInsight-klustret stöds fullt ut och Microsoft Support hjälper till att isolera och lösa problem som rör dessa komponenter.

Anpassade komponenter får kommersiellt rimligt stöd för att hjälpa dig att ytterligare felsöka problemet. Detta kan leda till att du löser problemet eller ber dig att engagera tillgängliga kanaler för öppen källkod tekniker där djup expertis för den tekniken finns. Det finns till exempel många community-webbplatser som kan användas, till exempel: Microsoft Q&A-frågesida för HDInsight, https://stackoverflow.com. Även Apache-projekt har projektwebbplatser på https://apache.org, till exempel: Hadoop.

Installera Hue med hjälp av skriptåtgärder

Använd informationen i tabellen nedan för din skriptåtgärd. Mer information om hur du använder skriptåtgärder finns i Anpassa HDInsight-kluster med Skriptåtgärder .

Kommentar

För att installera Hue på HDInsight-kluster är den rekommenderade huvudnodstorleken minst A4 (8 kärnor, 14 GB minne).

Property Värde
Typ av skript: -Anpassade
Name Installera Hue
Bash-skript-URI https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh
Nodtyper: Head

Köra en Hive-fråga

  1. I Hue-portalen väljer du Power Query-redigeraren och sedan Hive för att öppna Hive-redigeraren.

    HDInsight hue portal use hive editor.

  2. På fliken Assist under Databas bör du se hivesampletable. Det här är en exempeltabell som levereras med alla Hadoop-kluster i HDInsight. Ange en exempelfråga i den högra rutan och se utdata på fliken Resultat i fönstret nedan, enligt skärmbilden.

    HDInsight hue portal hive query.

    Du kan också använda fliken Diagram för att se en visuell representation av resultatet.

Bläddra i klusterlagringen

  1. I Hue-portalen väljer du Filläsare i det övre högra hörnet i menyraden.

  2. Som standard öppnas filwebbläsaren i katalogen /user/myuser . Välj snedstrecket direkt före användarkatalogen i sökvägen för att gå till roten för azure-lagringscontainern som är associerad med klustret.

    HDInsight hue portal file browser.

  3. Högerklicka på en fil eller mapp för att se tillgängliga åtgärder. Använd knappen Ladda upp i det högra hörnet för att ladda upp filer till den aktuella katalogen. Använd knappen Nytt för att skapa nya filer eller kataloger.

Kommentar

Hue-filläsaren kan bara visa innehållet i standardcontainern som är associerad med HDInsight-klustret. Eventuella ytterligare lagringskonton/containrar som du kanske har associerat med klustret kommer inte att vara tillgängliga med hjälp av filläsaren. De ytterligare containrar som är associerade med klustret kommer dock alltid att vara tillgängliga för Hive-jobben. Om du till exempel anger kommandot dfs -ls wasbs://newcontainer@mystore.blob.core.windows.net i Hive-redigeraren kan du även se innehållet i ytterligare containrar. I det här kommandot är newcontainer inte standardcontainern som är associerad med ett kluster.

Viktigt!

  1. Skriptet som används för att installera Hue installerar det endast på klustrets primära huvudnod.

  2. Under installationen startas flera Hadoop-tjänster (HDFS, YARN, MR2, Oozie) om för att uppdatera konfigurationen. När skriptet har installerat Hue kan det ta lite tid innan andra Hadoop-tjänster startas. Detta kan påverka Hues prestanda från början. När alla tjänster har startats kommer Hue att fungera fullt ut.

  3. Hue förstår inte Apache Tez-jobb, vilket är den aktuella standardinställningen för Hive. Om du vill använda MapReduce som Hive-körningsmotor uppdaterar du skriptet så att följande kommando används i skriptet:

    set hive.execution.engine=mr;

  4. Med Linux-kluster kan du ha ett scenario där dina tjänster körs på den primära huvudnoden medan Resource Manager kan köras på den sekundära. Ett sådant scenario kan resultera i fel (visas nedan) när du använder Hue för att visa information om KÖRNINGsjobb i klustret. Du kan dock visa jobbinformationen när jobbet har slutförts.

    Hue portal error sample message.

    Detta beror på ett känt problem. Som en lösning kan du ändra Ambari så att den aktiva Resource Manager också körs på den primära huvudnoden.

  5. Hue förstår WebHDFS medan HDInsight-kluster använder Azure Storage med .wasbs:// Det anpassade skriptet som används med skriptåtgärden installerar därför WebWasb, som är en WebHDFS-kompatibel tjänst för att prata med WASB. Så även om Hue-portalen säger HDFS på platser (som när du flyttar musen över filwebbläsaren), bör den tolkas som WASB.

Nästa steg

Anpassa HDInsight-kluster med skriptåtgärder