Werken in het Apache Hadoop-ecosysteem in HDInsight vanaf een Windows-pc

Artikel
09/22/2023

Meer informatie over ontwikkel- en beheeropties op de Windows-pc voor het werken in het Apache Hadoop-ecosysteem in HDInsight.

HDInsight is gebaseerd op Apache Hadoop- en Hadoop-onderdelen, opensourcetechnologieën die zijn ontwikkeld op Linux. HDInsight versie 3.4 en hoger gebruikt de Ubuntu Linux-distributie als het onderliggende besturingssysteem voor het cluster. U kunt echter met HDInsight werken vanuit een Windows-client of Windows-ontwikkelomgeving.

PowerShell gebruiken voor implementatie- en beheertaken

Azure PowerShell is een scriptomgeving die u kunt gebruiken om implementatie- en beheertaken in HDInsight vanuit Windows te beheren en automatiseren.

Voorbeelden van taken die u kunt uitvoeren met PowerShell:

Volg de stappen om Azure PowerShell te installeren en configureren om de nieuwste versie op te halen.

Hulpprogramma's die u in een browser kunt uitvoeren

De volgende hulpprogramma's hebben een webgebruikersinterface die wordt uitgevoerd in een browser:

Azure Cloud Shell is een interactieve opdrachtregelshell die wordt uitgevoerd in uw browser en vanuit de Azure Portal.
Apache Ambari-webinterface is een hulpprogramma voor beheer en bewaking dat beschikbaar is in de Azure Portal dat kan worden gebruikt voor het beheren van verschillende soorten taken, zoals:

Voordat u naar de volgende voorbeelden gaat, installeert en probeert u Data Lake Tools voor Visual Studio.

Visual Studio en de .NET SDK

U kunt Visual Studio met de .NET SDK gebruiken om clusters te beheren en big data-toepassingen te ontwikkelen. U kunt andere IDE's gebruiken voor de volgende taken, maar voorbeelden worden weergegeven in Visual Studio.

Voorbeelden van taken die u kunt uitvoeren met de .NET SDK in Visual Studio:

Intellij IDEA en Eclipse IDE voor Spark-clusters

Zowel Intellij IDEA als de Eclipse IDE kunnen worden gebruikt om:

Een Scala Spark-toepassing ontwikkelen en verzenden in een HDInsight Spark-cluster.
Toegang tot Spark-clusterresources.
Ontwikkel een Scala Spark-toepassing en voer deze lokaal uit.

In deze artikelen wordt uitgelegd hoe:

Intellij IDEA: Maak Apache Spark-toepassingen met behulp van de invoegtoepassing Azure Toolkit voor Intellij en de Scala SDK.
Eclipse IDE of Scala IDE voor Eclipse: Apache Spark-toepassingen en de Azure-toolkit voor Eclipse maken

Notebooks op Spark voor gegevenswetenschappers

Apache Spark-clusters in HDInsight bevatten Apache Zeppelin-notebooks en -kernels die kunnen worden gebruikt met Jupyter Notebooks.

Op Linux gebaseerde hulpprogramma's en technologieën uitvoeren in Windows

Als u een situatie tegenkomt waarin u een hulpprogramma of technologie moet gebruiken die alleen beschikbaar is in Linux, kunt u de volgende opties overwegen:

Bash op Ubuntu op Windows 10 biedt een Linux-subsysteem in Windows. Met Bash kunt u linux-hulpprogramma's rechtstreeks uitvoeren zonder dat u een speciale Linux-installatie hoeft te onderhouden. Zie Installatiehandleiding voor Windows 10 voor Windows-subsysteem voor Linux voor installatiestappen. Andere Unix-shells werken ook.
Docker voor Windows biedt toegang tot veel Linux-hulpprogramma's en kan rechtstreeks vanuit Windows worden uitgevoerd. U kunt docker bijvoorbeeld gebruiken om de Beeline-client voor Hive rechtstreeks vanuit Windows uit te voeren. U kunt Docker ook gebruiken om een lokale Jupyter Notebook uit te voeren en op afstand verbinding te maken met Spark in HDInsight. Aan de slag met Docker voor Windows
Met MobaXTerm kunt u grafisch door het clusterbestandssysteem bladeren via een SSH-verbinding.

Platformoverschrijdende hulpprogramma's

De Azure-opdrachtregelinterface (CLI) is de platformoverschrijdende opdrachtregelervaring voor het beheren van Azure-resources. Zie Azure Command-Line Interface (CLI) voor meer informatie.

Volgende stappen

Zie de volgende artikelen als u nog niet in Linux-clusters werkt:

Delen via