Share via

Lege edge-knooppunten gebruiken in Apache Hadoop-clusters in HDInsight

  • Artikel

Meer informatie over het toevoegen van een leeg Edge-knooppunt aan een HDInsight-cluster. Een leeg edge-knooppunt is een virtuele Linux-machine waarop dezelfde clienttools zijn geïnstalleerd en geconfigureerd als op de hoofdknooppunten. Maar zonder Apache Hadoop-services die worden uitgevoerd. U kunt het edge-knooppunt gebruiken voor toegang tot het cluster, het testen van uw clienttoepassingen en het hosten van uw clienttoepassingen.

U kunt een leeg edge-knooppunt toevoegen aan een bestaand HDInsight-cluster, aan een nieuw cluster wanneer u het cluster maakt. Het toevoegen van een leeg edge-knooppunt wordt uitgevoerd met behulp van een Azure Resource Manager-sjabloon. In het volgende voorbeeld ziet u hoe u dit doet met behulp van een sjabloon:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Zoals wordt weergegeven in het voorbeeld, kunt u desgewenst een scriptactie aanroepen om aanvullende configuratie uit te voeren. Zoals het installeren van Apache Hue in het edge-knooppunt. Het scriptactiescript moet openbaar toegankelijk zijn op internet. Als het script bijvoorbeeld is opgeslagen in Azure Storage, gebruikt u openbare containers of openbare blobs.

De grootte van de virtuele machine van het Edge-knooppunt moet voldoen aan de vm-groottevereisten voor het HDInsight-clusterwerkknooppunt. Zie Apache Hadoop-clusters maken in HDInsight voor de aanbevolen VM-grootten voor werkknooppunten.

Nadat u een edge-knooppunt hebt gemaakt, kunt u verbinding maken met het edge-knooppunt met behulp van SSH en clienthulpprogramma's uitvoeren om toegang te krijgen tot het Hadoop-cluster in HDInsight.

Waarschuwing

Aangepaste onderdelen die op het Edge-knooppunt zijn geïnstalleerd, ontvangen commercieel redelijke ondersteuning van Microsoft. Dit kan leiden tot het oplossen van problemen die u ondervindt. U kunt ook worden verwezen naar bronnen van de community voor verdere hulp. Hier volgen enkele van de meest actieve sites voor hulp van de community:

Als u een Apache-technologie gebruikt, kunt u mogelijk hulp vinden via de Apache-projectsites op https://apache.org, zoals de Apache Hadoop-site .

Belangrijk

Ubuntu-installatiekopieën worden beschikbaar voor het maken van een nieuw HDInsight-cluster binnen drie maanden na publicatie. Vanaf januari 2019 worden actieve clusters (inclusief edge-knooppunten) niet automatisch gepatcht. Klanten moeten scriptacties of andere mechanismen gebruiken om een actief cluster te patchen. Zie os patching voor HDInsight voor meer informatie.

Een Edge-knooppunt toevoegen aan een bestaand cluster

In deze sectie gebruikt u een Resource Manager-sjabloon om een edge-knooppunt toe te voegen aan een bestaand HDInsight-cluster. De Resource Manager-sjabloon vindt u in GitHub. De Resource Manager-sjabloon roept een scriptactie aan die zich in https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. Het script voert geen acties uit. Het is om een scriptactie aan te roepen vanuit een Resource Manager-sjabloon.

  1. Selecteer de volgende afbeelding om u aan te melden bij Azure en de Azure Resource Manager-sjabloon te openen in Azure Portal.

    Deploy to Azure button for new cluster

  2. Configureer de volgende eigenschappen:

    Eigenschappen Beschrijving
    Abonnement Selecteer een Azure-abonnement dat wordt gebruikt voor het maken van het cluster.
    Resourcegroep Selecteer de resourcegroep die wordt gebruikt voor het bestaande HDInsight-cluster.
    Locatie Selecteer de locatie van het bestaande HDInsight-cluster.
    Clusternaam Voer de naam in van een bestaand HDInsight-cluster.

  3. Controleer of ik akkoord ga met de bovenstaande voorwaarden en selecteer Vervolgens Kopen om het Edge-knooppunt te maken.

Belangrijk

Zorg ervoor dat u de Azure-resourcegroep selecteert voor het bestaande HDInsight-cluster. Anders krijgt u het foutbericht 'Kan de aangevraagde bewerking niet uitvoeren op geneste resource. De bovenliggende resource ClusterName<> is niet gevonden.

Een Edge-knooppunt toevoegen bij het maken van een cluster

In deze sectie gebruikt u een Resource Manager-sjabloon om een HDInsight-cluster te maken met een edge-knooppunt. De Resource Manager-sjabloon vindt u in de galerie met Azure-quickstartsjablonen. De Resource Manager-sjabloon roept een scriptactie aan die zich in https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. Het script voert geen acties uit. Het is om een scriptactie aan te roepen vanuit een Resource Manager-sjabloon.

  1. Maak een HDInsight-cluster als u er nog geen hebt. Zie Aan de slag met Hadoop in HDInsight.

  2. Selecteer de volgende afbeelding om u aan te melden bij Azure en de Azure Resource Manager-sjabloon te openen in Azure Portal.

    Deploy to Azure button for new cluster

  3. Configureer de volgende eigenschappen:

    Eigenschappen Beschrijving
    Abonnement Selecteer een Azure-abonnement dat wordt gebruikt voor het maken van het cluster.
    Resourcegroep Maak een nieuwe resourcegroep die wordt gebruikt voor het cluster.
    Locatie Selecteer een locatie voor de resourcegroep.
    Clusternaam Voer een naam in voor het nieuwe cluster dat u wilt maken.
    Gebruikersnaam voor clusteraanmelding Voer de Hadoop HTTP-gebruikersnaam in. De standaardnaam is admin.
    Wachtwoord voor clusteraanmelding Voer het Hadoop HTTP-gebruikerswachtwoord in.
    Ssh-gebruikersnaam Voer de SSH-gebruikersnaam in. De standaardnaam is sshuser.
    Ssh-wachtwoord Voer het SSH-gebruikerswachtwoord in.
    Scriptactie installeren Behoud de standaardwaarde voor het doorlopen van dit artikel.

    Sommige eigenschappen zijn vastgelegd in de sjabloon: Clustertype, Aantal Cluster worker-knooppunten, Edge-knooppuntgrootte en Naam van Edge-knooppunt.

  4. Controleer of ik akkoord ga met de bovenstaande voorwaarden en selecteer Vervolgens Kopen om het cluster te maken met het edge-knooppunt.

Meerdere edge-knooppunten toevoegen

U kunt meerdere edge-knooppunten toevoegen aan een HDInsight-cluster. De configuratie van meerdere edge-knooppunten kan alleen worden uitgevoerd met behulp van Azure Resource Manager-sjablonen. Zie het sjabloonvoorbeeld aan het begin van dit artikel. Werk targetInstanceCount bij met het aantal edge-knooppunten dat u wilt maken.

Toegang tot een Edge-knooppunt

Het SSH-eindpunt van het Edge-knooppunt is <EdgeNodeName>.<ClusterName-ssh.azurehdinsight.net:22>. Bijvoorbeeld new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

Het Edge-knooppunt wordt weergegeven als een toepassing in Azure Portal. De portal biedt u de informatie voor toegang tot het Edge-knooppunt met behulp van SSH.

Het SSH-eindpunt van het Edge-knooppunt controleren

  1. Meld u aan bij Azure Portal.
  2. Open het HDInsight-cluster met een edge-knooppunt.
  3. Selecteer Sollicitaties. U ziet het edge-knooppunt. De standaardnaam is new-edgenode.
  4. Selecteer het edge-knooppunt. U ziet het SSH-eindpunt.

Hive gebruiken op het edge-knooppunt

  1. Gebruik SSH om verbinding te maken met het edge-knooppunt. Zie SSH-sleutels gebruiken met HDInsight voor informatie.

  2. Nadat u met behulp van SSH verbinding hebt gemaakt met het edge-knooppunt, gebruikt u de volgende opdracht om de Hive-console te openen:

    hive

  3. Voer de volgende opdracht uit om Hive-tabellen in het cluster weer te geven:

    show tables;

Een Edge-knooppunt verwijderen

U kunt een Edge-knooppunt verwijderen uit Azure Portal.

  1. Meld u aan bij Azure Portal.
  2. Open het HDInsight-cluster met een edge-knooppunt.
  3. Selecteer Sollicitaties. U ziet een lijst met edge-knooppunten.
  4. Klik met de rechtermuisknop op het edge-knooppunt dat u wilt verwijderen en selecteer Vervolgens Verwijderen.
  5. Selecteer Ja om te bevestigen.

Volgende stappen

In dit artikel hebt u geleerd hoe u een Edge-knooppunt toevoegt en hoe u toegang krijgt tot het Edge-knooppunt. Zie de volgende artikelen voor meer informatie: