Använda tomma gränsnoder i Apache Hadoop-kluster i HDInsight

Artikel
06/15/2024

Lär dig hur du lägger till en tom kantnod i ett HDInsight-kluster. En tom gränsnod är en virtuell Linux-dator med samma klientverktyg installerade och konfigurerade som i huvudnoderna. Men utan att apache Hadoop-tjänster körs. Du kan använda gränsnoden för att komma åt klustret, testa dina klientprogram och vara värd för dina klientprogram.

Du kan lägga till en tom kantnod i ett befintligt HDInsight-kluster i ett nytt kluster när du skapar klustret. Du lägger till en tom kantnod med hjälp av Azure Resource Manager-mallen. Följande exempel visar hur det går till med hjälp av en mall:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

Som du ser i exemplet kan du anropa en skriptåtgärd för att utföra ytterligare konfiguration. Till exempel att installera Apache Hue i kantnoden. Skriptåtgärdsskriptet måste vara offentligt tillgängligt på webben. Om skriptet till exempel lagras i Azure Storage använder du antingen offentliga containrar eller offentliga blobar.

Den virtuella datorstorleken för gränsnoden måste uppfylla storlekskraven för VM-storlek för HDInsight-klusterarbetare. De rekommenderade vm-storlekarna för arbetsnoder finns i Skapa Apache Hadoop-kluster i HDInsight.

När du har skapat en gränsnod kan du ansluta till gränsnoden med hjälp av SSH och köra klientverktyg för att komma åt Hadoop-klustret i HDInsight.

Varning

Anpassade komponenter som installeras på gränsnoden får kommersiellt rimligt stöd från Microsoft. Detta kan leda till att du löser problem som uppstår. Eller så kan du hänvisas till communityresurser för ytterligare hjälp. Följande är några av de mest aktiva webbplatserna för att få hjälp från communityn:

Om du använder en Apache-teknik kanske du kan få hjälp via Apache-projektwebbplatserna på https://apache.org, till exempel Apache Hadoop-webbplatsen .

Viktigt!

Ubuntu-avbildningar blir tillgängliga för att skapa nya HDInsight-kluster inom 3 månader efter publiceringen. Från och med januari 2019 korrigeras inte kluster som körs (inklusive gränsnoder). Kunder måste använda skriptåtgärder eller andra mekanismer för att korrigera ett kluster som körs. Mer information finns i OS-korrigering för HDInsight.

Lägga till en gränsnod i ett befintligt kluster

I det här avsnittet använder du en Resource Manager-mall för att lägga till en kantnod i ett befintligt HDInsight-kluster. Resource Manager-mallen finns i GitHub. Resource Manager-mallen anropar en skriptåtgärd som finns på https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh. Skriptet utför inga åtgärder. Det är för att demonstrera anropande skriptåtgärd från en Resource Manager-mall.

Välj följande bild för att logga in på Azure och öppna Azure Resource Manager-mallen i Azure-portalen.

Konfigurera följande egenskaper:

Property	Beskrivning
Prenumeration	Välj en Azure-prenumeration som används för att skapa klustret.
Resursgrupp	Välj den resursgrupp som används för det befintliga HDInsight-klustret.
Plats	Välj platsen för det befintliga HDInsight-klustret.
Klusternamn	Ange namnet på ett befintligt HDInsight-kluster.

Kontrollera att jag godkänner de villkor som anges ovan och välj sedan Köp för att skapa gränsnoden.

Viktigt!

Se till att välja Azure-resursgruppen för det befintliga HDInsight-klustret. Annars visas felmeddelandet "Det går inte att utföra den begärda åtgärden på kapslad resurs. Den överordnade resursen "<ClusterName>" hittades inte."

Lägga till en gränsnod när du skapar ett kluster

I det här avsnittet använder du en Resource Manager-mall för att skapa HDInsight-kluster med en kantnod. Resource Manager-mallen finns i galleriet med Azure-snabbstartsmallar. Resource Manager-mallen anropar en skriptåtgärd som finns på https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh. Skriptet utför inga åtgärder. Det är för att demonstrera anropande skriptåtgärd från en Resource Manager-mall.

Skapa ett HDInsight-kluster om du inte har något ännu. Se Kom igång med Hadoop i HDInsight.
Välj följande bild för att logga in på Azure och öppna Azure Resource Manager-mallen i Azure-portalen.

Konfigurera följande egenskaper:

Property	Beskrivning
Prenumeration	Välj en Azure-prenumeration som används för att skapa klustret.
Resursgrupp	Skapa en ny resursgrupp som används för klustret.
Plats	Välj en plats för resursgruppen.
Klusternamn	Ange ett namn för det nya kluster som ska skapas.
Användarnamn för klusterinloggning	Ange Hadoop HTTP-användarnamnet. Standardnamnet är admin.
Lösenord för klusterinloggning	Ange lösenordet för Hadoop HTTP-användaren.
SSH-användarnamn	Ange SSH-användarnamnet. Standardnamnet är sshuser.
SSH-lösenord	Ange SSH-användarlösenordet.
Installera skriptåtgärd	Behåll standardvärdet för att gå igenom den här artikeln.

Vissa egenskaper har hårdkodats i mallen: Klustertyp, Antal klusterarbetarenoder, Edge-nodstorlek och Edge-nodnamn.

Kontrollera att jag godkänner villkoren ovan och välj sedan Köp för att skapa klustret med gränsnoden.

Lägga till flera kantnoder

Du kan lägga till flera kantnoder i ett HDInsight-kluster. Konfigurationen av flera kantnoder kan bara göras med Hjälp av Azure Resource Manager-mallar. Se mallexemplet i början av den här artikeln. Uppdatera targetInstanceCount så att det återspeglar antalet gränsnoder som du vill skapa.

Få åtkomst till en kantnod

Gränsnodens ssh-slutpunkt är <EdgeNodeName>.<ClusterName-ssh.azurehdinsight.net:22>. Till exempel new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

Gränsnoden visas som ett program på Azure-portalen. Portalen ger dig information för att komma åt gränsnoden med hjälp av SSH.

Så här verifierar du gränsnodens SSH-slutpunkt

Logga in på Azure Portal.
Öppna HDInsight-klustret med en gränsnod.
Välj ansökning. Du ska se kantnoden. Standardnamnet är new-edgenode.
Välj gränsnoden. Du ska se SSH-slutpunkten.

Så här använder du Hive på kantnoden

Använd SSH för att ansluta till gränsnoden. Mer information finns i Use SSH with HDInsight (Använda SSH med HDInsight).
När du har anslutit till gränsnoden med hjälp av SSH använder du följande kommando för att öppna Hive-konsolen:
```
hive
```
Kör följande kommando för att visa Hive-tabeller i klustret:
```
show tables;
```

Ta bort en kantnod

Du kan ta bort en gränsnod från Azure-portalen.

Logga in på Azure Portal.
Öppna HDInsight-klustret med en gränsnod.
Välj ansökning. Du kommer att se en lista över gränsnoder.
Högerklicka på den kantnod som du vill ta bort och välj sedan Ta bort.
Välj Ja för att bekräfta.

Nästa steg

I den här artikeln har du lärt dig hur du lägger till en kantnod och hur du kommer åt kantnoden. Mer information finns i följande artiklar:

Installera HDInsight-program: Läs mer om hur du installerar ett HDInsight-program till dina kluster.
Installera anpassade HDInsight-program: Lär dig hur du distribuerar ett opublicerat HDInsight-program till HDInsight.
Publicera HDInsight-program: information om hur du publicerar anpassade HDInsight-program på Azure Marketplace.
MSDN: Installera ett HDInsight-program: information om hur du definierar HDInsight-program.
Anpassa Linux-baserade HDInsight-kluster med skriptåtgärder: information om hur du använder skriptåtgärd till att installera fler program.
Skapa Linux-baserade Apache Hadoop-kluster i HDInsight med hjälp av Resource Manager-mallar: lär dig hur du anropar Resource Manager-mallar för att skapa HDInsight-kluster.

Dela via