Quickstart: Een Apache Spark-cluster maken in Azure HDInsight met behulp van Azure Portal

  • Artikel

In deze quickstart gebruikt u Azure Portal om een Apache Spark-cluster te maken in Azure HDInsight. Vervolgens maakt u een Jupyter-notebook en gebruikt u dit om Spark SQL-query's uit te voeren op Apache Hive-tabellen. Azure HDInsight is een beheerde, zeer uitgebreide open-source analyseservice voor bedrijven. Het Apache Spark-raamwerk voor HDInsight maakt het mogelijk om snelle gegevensanalyses en clusterberekeningen uit te voeren met behulp van verwerking in het geheugen. Via Jupyter Notebook kunt u met uw gegevens werken, code combineren met markdown-tekst en eenvoudige visualisaties uitvoeren.

Zie Clusters instellen in HDInsight voor uitgebreide uitleg over de beschikbare configuraties. Zie Clusters maken in de portal voor meer informatie over het gebruik van de portal om clusters te maken.

Als u meerdere clusters samen gebruikt, kunt u een virtueel netwerk maken; Als u een Spark-cluster gebruikt, wilt u mogelijk ook de Hive Warehouse-Verbinding maken or gebruiken. Zie Plan a virtual network voor Azure HDInsight en Integrate Apache Spark and Apache Hive with the Hive Warehouse Connector voor meer informatie.

Belangrijk

HDInsight-clusters worden pro rato per minuut gefactureerd, ongeacht of u er wel of niet gebruik van maakt. Verwijder uw cluster daarom als u er klaar mee bent. Zie voor meer informatie de sectie Resources opschonen van dit artikel.

Vereisten

Een Azure-account met een actief abonnement. Gratis een account maken

Een Apache Spark-cluster maken in Azure HDInsight

U kunt de Azure Portal gebruiken om een HDInsight-cluster te maken dat gebruikmaakt van Azure Storage Blobs als de clusteropslag. Zie Snelstart: Clusters instellen in HDInsight voor meer informatie over het gebruik van Data Lake Storage Gen2.

  1. Meld u aan bij het Azure-portaal.

  2. Selecteer + Een resource maken in het menu aan de bovenkant.

    Screenshot of Azure portal how to create a resource.

  3. Selecteer Analytics>Azure HDInsight om naar de pagina HDInsight-cluster maken te gaan.

  4. Geef op het tabblad Basis de volgende gegevens op:

    Eigenschappen Beschrijving
    Abonnement Selecteer in de vervolgkeuzelijst het Azure-abonnement dat wordt gebruikt voor het cluster.
    Resourcegroep Selecteer in de vervolgkeuzelijst de bestaande resourcegroep of selecteer Nieuwe maken.
    Clusternaam Voer een wereldwijd unieke naam in.
    Regio Selecteer in de vervolgkeuzelijst een regio waarin het cluster wordt gemaakt.
    Availability zone Optioneel: geef een beschikbaarheidszone op waarin uw cluster moet worden geïmplementeerd
    Clustertype Selecteer het clustertype om een lijst te openen. Selecteer Spark in de lijst.
    Clusterversie Dit veld wordt automatisch ingevuld met de standaardversie zodra het clustertype is geselecteerd.
    Gebruikersnaam voor clusteraanmeldgegevens Voer de gebruikersnaam voor aanmelding bij het cluster in. De standaardnaam is beheerder. U gebruikt dit account om u verderop in de quickstart aan te melden bij Jupyter Notebook.
    Wachtwoord voor clusteraanmeldgegevens Voer het wachtwoord voor aanmelding bij het cluster in.
    SSH-gebruikersnaam (Secure Shell) Voer de SSH-gebruikersnaam in. De SSH-gebruikersnaam voor deze snelstartgids is sshuser. De standaardinstelling is dat voor dit account hetzelfde wachtwoord wordt gebruikt als voor Gebruikersnaam voor clusteraanmeldgegevens.

    Screenshot shows Create HDInsight cluster with the Basics tab selected.

  5. Selecteer Volgende: Opslag >> om door te gaan naar de opslagpagina .

  6. Geef onder Opslag de volgende waarden op:

    Eigenschappen Beschrijving
    Type van primaire opslag Gebruik de standaardwaarde Azure Storage.
    Selectiemethode Gebruik de standaardwaarde Selecteer in lijst.
    Primair opslagaccount Gebruik de waarde die automatisch is ingevuld.
    Container Gebruik de waarde die automatisch is ingevuld.

    Screenshot shows Create HDInsight cluster with the Storage tab selected.

    Selecteer Beoordelen en maken om verder te gaan.

  7. Selecteer binnen Beoordelen en maken de optie Maken. Het duurt ongeveer 20 minuten om het cluster te maken. Het cluster moet zijn gemaakt voordat u verder kunt gaan met de volgende sessie.

Als u een probleem ondervindt met het maken van HDInsight-clusters, beschikt u mogelijk niet over de juiste machtigingen om dit te doen. Zie Vereisten voor toegangsbeheer voor meer informatie.

Een Jupyter Notebook maken

Jupyter Notebook is een interactieve notitieblokomgeving die ondersteuning biedt voor verschillende programmeertalen. Via het notitieblok kunt u interactie hebben met uw gegevens, code combineren met markdown-tekst en eenvoudige visualisaties uitvoeren.

  1. Navigeer in een webbrowser naar https://CLUSTERNAME.azurehdinsight.net/jupyter, waarbij CLUSTERNAME de naam van uw cluster is. Voer de aanmeldingsreferenties voor het cluster in als u daarom wordt gevraagd.

  2. Selecteer Nieuw>PySpark om een notebook te maken.

    Create a Jupyter Notebook to run interactive Spark SQL query.

    Er wordt een nieuwe notebook gemaakt en geopend met de naam Untitled (Untitled.pynb).

Apache Spark SQL-instructies uitvoeren

SQL (Structured Query Language) is de meest voorkomende en gebruikte taal voor het uitvoeren van query's en het definiëren van gegevens. Spark SQL fungeert als een uitbreiding van Apache Spark voor het verwerken van gestructureerde gegevens, met behulp van de bekende SQL-syntaxis.

  1. Controleer of de kernel gereed is. Wanneer u een lege cirkel naast de naam van de kernel in de notebook ziet, is de kernel gereed. Gevulde cirkel geeft aan dat de kernel bezet is.

    Screenshot shows a Jupyter window with a PySpark indicator.

    Wanneer u de notebook voor het eerst start, voert de kernel enkele taken in de achtergrond uit. Wacht tot de kernel gereed is.

  2. Plak de volgende code in een lege cel en druk op Shift+Enter om de code uit te voeren. Met de opdracht worden de Hive-tabellen in het cluster weergegeven:

    %%sql
SHOW TABLES

    Als u een Jupyter Notebook gebruikt met uw HDInsight-cluster, krijgt u een vooraf ingestelde sqlContext waarmee u Hive-query's kunt uitvoeren met behulp van Spark SQL. %%sql instrueert Jupyter Notebook gebruik te maken van de vooraf ingestelde sqlContext om de Hive-query uit te voeren. De query haalt de bovenste tien rijen op uit een Hive-tabel (hivesampletable) die standaard worden meegeleverd met alle HDInsight-clusters. Het duurt ongeveer 30 seconden om de resultaten op te halen. De uitvoer ziet er als volgt uit:

    Screenshot shows a Jupyter window for the notebook created in this quickstart. is quickstart.border="true":::

    Telkens wanneer u in Jupyter een query uitvoert, toont de venstertitel van uw webbrowser de status (Bezet) en de notebooktitel. Ook ziet u een gevulde cirkel naast de PySpark-tekst in de rechterbovenhoek.

  3. Voer een andere query uit om de gegevens in hivesampletable te zien.

    %%sql
SELECT * FROM hivesampletable LIMIT 10

    Het scherm wordt vernieuwd om de query-uitvoer weer te geven.

    Hive query output in HDInsight. Inzicht" border="true":::

  4. Klik in het menu File van het notebook op Close and Halt. Als de notebook wordt afgesloten, komen de clusterbronnen vrij.

Resources opschonen

Met HDInsight worden uw gegevens opgeslagen in Azure Storage of Azure Data Lake Storage, zodat u een cluster veilig kunt verwijderen wanneer dit niet wordt gebruikt. Voor een HDInsight-cluster worden ook kosten in rekening gebracht, zelfs wanneer het niet wordt gebruikt. Aangezien de kosten voor het cluster vaak zoveel hoger zijn dan de kosten voor opslag, is het financieel gezien logischer clusters te verwijderen wanneer ze niet worden gebruikt. Als u direct verder wilt met de zelfstudie die wordt vermeld bij Volgende stappen, is het beter om het cluster te behouden.

Ga terug naar Azure Portal en selecteer Verwijderen.

Azure portal delete an HDInsight cluster. sight cluster" border="true":::

U kunt ook de naam van de resourcegroep selecteren om de pagina van de resourcegroep te openen en vervolgens Resourcegroep verwijderen selecteren. Als u de resourcegroep verwijdert, verwijdert u zowel het HDInsight-cluster als het standaardopslagaccount.

Volgende stappen

In deze snelstart hebt u geleerd hoe u een Apache Spark-cluster in HDInsight maakt en een eenvoudige Spark SQL-query uitvoert. Ga naar de volgende zelfstudie voor informatie over het gebruik van een HDInsight-cluster om interactieve query's uit te voeren op voorbeeldgegevens.

Interactieve query's uitvoeren in Apache Spark