Hue installeren en gebruiken in HDInsight Hadoop-clusters
Leer hoe u Hue op HDInsight-clusters installeert en tunneling gebruikt om de aanvragen naar Hue te routeren.
Notitie
Hue wordt niet ondersteund in HDInsight 4.0 en hoger.
Wat is Hue?
Hue is een set webtoepassingen die worden gebruikt om te communiceren met een Apache Hadoop-cluster. U kunt Hue gebruiken om door de opslag te bladeren die is gekoppeld aan een Hadoop-cluster (WASB, in het geval van HDInsight-clusters), Hive-taken en Pig-scripts uit te voeren, enzovoort. De volgende onderdelen zijn beschikbaar met Hue-installaties op een HDInsight Hadoop-cluster.
- Beeswax Hive Editor
- Apache Pig
- Metastore-manager
- Apache Oozie
- FileBrowser (die met wasb-standaardcontainer praat)
- Taakbrowser
Waarschuwing
Onderdelen die worden geleverd met het HDInsight-cluster, worden volledig ondersteund en Microsoft Ondersteuning helpen bij het isoleren en oplossen van problemen met betrekking tot deze onderdelen.
Aangepaste onderdelen ontvangen commercieel redelijke ondersteuning om u te helpen het probleem verder op te lossen. Dit kan leiden tot het oplossen van het probleem of het vragen om beschikbare kanalen in te schakelen voor de opensource-technologieën waar diepe expertise voor die technologie wordt gevonden. Er zijn bijvoorbeeld veel communitysites die kunnen worden gebruikt, zoals: Microsoft Q&A-vragenpagina voor HDInsight, https://stackoverflow.com. Ook Apache-projecten hebben projectsites ophttps://apache.org, bijvoorbeeld Hadoop.
Hue installeren met scriptacties
Gebruik de informatie in de onderstaande tabel voor uw scriptactie. Zie HDInsight-clusters aanpassen met scriptacties voor specifieke instructies over het gebruik van scriptacties.
Notitie
Voor het installeren van Hue op HDInsight-clusters is de aanbevolen hoofdknooppuntgrootte ten minste A4 (8 kernen, 14 GB geheugen).
| Eigenschappen | Weergegeven als |
|---|---|
| Scripttype: | - Aangepast |
| Naam | Hue installeren |
| Bash-script-URI | https://hdiconfigactions.blob.core.windows.net/linuxhueconfigactionv02/install-hue-uber-v02.sh |
| Type knooppunt: | Head |
Een Hive-query uitvoeren
Selecteer in de Hue-portal Power Query-editor s en selecteer Vervolgens Hive om de Hive-editor te openen.
Op het tabblad Assist , onder Database, ziet u hivesampletable. Dit is een voorbeeldtabel die wordt geleverd met alle Hadoop-clusters in HDInsight. Voer een voorbeeldquery in het rechterdeelvenster in en bekijk de uitvoer op het tabblad Resultaten in het onderstaande deelvenster, zoals wordt weergegeven in de schermopname.
U kunt ook het tabblad Grafiek gebruiken om een visuele weergave van het resultaat te zien.
Door de clusteropslag bladeren
Selecteer in de Hue-portal de optie Bestandsbrowser in de rechterbovenhoek van de menubalk.
De bestandsbrowser wordt standaard geopend in de map /user/myuser . Selecteer de slash vlak voor de gebruikersmap in het pad om naar de hoofdmap van de Azure-opslagcontainer te gaan die aan het cluster is gekoppeld.
Klik met de rechtermuisknop op een bestand of map om de beschikbare bewerkingen te bekijken. Gebruik de knop Uploaden in de rechterhoek om bestanden te uploaden naar de huidige map. Gebruik de knop Nieuw om nieuwe bestanden of mappen te maken.
Notitie
De Hue-bestandsbrowser kan alleen de inhoud weergeven van de standaardcontainer die is gekoppeld aan het HDInsight-cluster. Eventuele extra opslagaccounts/containers die u mogelijk aan het cluster hebt gekoppeld, zijn niet toegankelijk via de bestandsbrowser. De extra containers die aan het cluster zijn gekoppeld, zijn echter altijd toegankelijk voor de Hive-taken. Als u bijvoorbeeld de opdracht dfs -ls wasbs://newcontainer@mystore.blob.core.windows.net in de Hive-editor invoert, kunt u ook de inhoud van aanvullende containers zien. In deze opdracht is newcontainer niet de standaardcontainer die is gekoppeld aan een cluster.
Belangrijke aandachtspunten
Het script dat wordt gebruikt om Hue te installeren, installeert het alleen op het primaire hoofdknooppunt van het cluster.
Tijdens de installatie worden meerdere Hadoop-services (HDFS, YARN, MR2, Oozie) opnieuw opgestart voor het bijwerken van de configuratie. Nadat het script is geïnstalleerd, kan het enige tijd duren voordat andere Hadoop-services zijn opgestart. Dit kan in eerste instantie van invloed zijn op de prestaties van Hue. Zodra alle services zijn opgestart, is Hue volledig functioneel.
Hue begrijpt Apache Tez-taken niet. Dit is de huidige standaardinstelling voor Hive. Als u MapReduce wilt gebruiken als de Hive-uitvoeringsengine, werkt u het script bij met de volgende opdracht in uw script:
set hive.execution.engine=mr;Met Linux-clusters kunt u een scenario hebben waarin uw services worden uitgevoerd op het primaire hoofdknooppunt terwijl Resource Manager op de secundaire locatie kan worden uitgevoerd. Een dergelijk scenario kan leiden tot fouten (hieronder weergegeven) wanneer u Hue gebruikt om details van ACTIEVE taken in het cluster weer te geven. U kunt echter de taakdetails bekijken wanneer de taak is voltooid.
Dit komt door een bekend probleem. Als tijdelijke oplossing wijzigt u Ambari zodat de actieve Resource Manager ook wordt uitgevoerd op het primaire hoofdknooppunt.
Hue begrijpt WebHDFS terwijl HDInsight-clusters Azure Storage gebruiken met behulp van
wasbs://. Het aangepaste script dat wordt gebruikt met scriptactie installeert WebWasb, een webHDFS-compatibele service voor het praten met WASB. Dus, ook al zegt de Hue-portal HDFS op plaatsen (zoals wanneer u uw muis over de bestandsbrowser beweegt), moet deze worden geïnterpreteerd als WASB.