Üres élcsomópontok használata Apache Hadoop-fürtökön a HDInsightban

Cikk
06/15/2024

Megtudhatja, hogyan adhat hozzá üres élcsomópontot egy HDInsight-fürthöz. An empty edge node is a Linux virtual machine with the same client tools installed and configured as in the headnodes. De az Apache Hadoop-szolgáltatások nem futnak. You can use the edge node for accessing the cluster, testing your client applications, and hosting your client applications.

A fürt létrehozásakor hozzáadhat egy üres élcsomópontot egy meglévő HDInsight-fürthöz egy új fürthöz. Üres élcsomópont hozzáadása azure Resource Manager-sablonnal történik. Az alábbi minta egy sablon használatával mutatja be, hogyan történik:

"resources": [
    {
        "name": "[concat(parameters('clusterName'),'/', variables('applicationName'))]",
        "type": "Microsoft.HDInsight/clusters/applications",
        "apiVersion": "2015-03-01-preview",
        "dependsOn": [ "[concat('Microsoft.HDInsight/clusters/',parameters('clusterName'))]" ],
        "properties": {
            "marketPlaceIdentifier": "EmptyNode",
            "computeProfile": {
                "roles": [{
                    "name": "edgenode",
                    "targetInstanceCount": 1,
                    "hardwareProfile": {
                        "vmSize": "{}"
                    }
                }]
            },
            "installScriptActions": [{
                "name": "[concat('emptynode','-' ,uniquestring(variables('applicationName')))]",
                "uri": "[parameters('installScriptAction')]",
                "roles": ["edgenode"]
            }],
            "uninstallScriptActions": [],
            "httpsEndpoints": [],
            "applicationType": "CustomApplication"
        }
    }
],

A mintában látható módon meghívhat egy szkriptműveletet , hogy további konfigurációt hajtson végre. Ilyen például az Apache Hue telepítése a peremcsomóponton. A szkriptművelet szkriptjének nyilvánosan elérhetőnek kell lennie a weben. Ha például a szkript az Azure Storage-ban van tárolva, használjon nyilvános tárolókat vagy nyilvános blobokat.

A peremcsomópont virtuális gép méretének meg kell felelnie a HDInsight-fürt feldolgozó csomópontjának virtuális gép méretére vonatkozó követelményeknek. A munkavégző csomópont virtuálisgép-méreteinek ajánlott méreteiért lásd : Apache Hadoop-fürtök létrehozása a HDInsightban.

Miután létrehozott egy peremcsomópontot, SSH használatával csatlakozhat az élcsomóponthoz, és ügyféleszközöket futtatva hozzáférhet a Hadoop-fürthöz a HDInsightban.

Figyelmeztetés

A peremcsomópontra telepített egyéni összetevők kereskedelmi szempontból ésszerű támogatást kapnak a Microsofttól. Ez a felmerülő problémák megoldásához vezethet. Vagy előfordulhat, hogy további segítségért közösségi forrásokra hivatkoznak. Az alábbiakban a közösségtől kapott segítségkérés legaktívabb webhelyei közül íme néhány:

Ha Apache-technológiát használ, előfordulhat, hogy segítséget talál az Apache-projektwebhelyeken https://apache.org, például az Apache Hadoop webhelyen.

Fontos

Az Ubuntu-rendszerképek a közzétételt követő 3 hónapon belül elérhetővé válnak az új HDInsight-fürtök létrehozásához. 2019 januárjától a futó fürtök (beleértve az élcsomópontokat) nem lesznek automatikusan javítva. Az ügyfeleknek szkriptműveleteket vagy más mechanizmusokat kell használniuk egy futó fürt javításához. További információt a HDInsight operációsrendszer-javításával kapcsolatban talál.

Élcsomópont hozzáadása meglévő fürthöz

Ebben a szakaszban egy Resource Manager-sablonnal adhat hozzá élcsomópontot egy meglévő HDInsight-fürthöz. A Resource Manager-sablon a GitHubon található. A Resource Manager-sablon meghívja a következő helyen található szkriptműveletet https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-add-edge-node/scripts/EmptyNodeSetup.sh: . A szkript nem hajt végre semmilyen műveletet. Ez egy Resource Manager-sablonból származó szkriptművelet meghívásának bemutatása.

Az alábbi kép kiválasztásával jelentkezzen be az Azure-ba, és nyissa meg az Azure Resource Manager-sablont az Azure Portalon.

Konfigurálja a következő tulajdonságokat:

Property	Leírás
Előfizetés	Válassza ki a fürt létrehozásához használt Azure-előfizetést.
Erőforráscsoport	Válassza ki a meglévő HDInsight-fürthöz használt erőforráscsoportot.
Hely	Válassza ki a meglévő HDInsight-fürt helyét.
Cluster Name	Adja meg egy meglévő HDInsight-fürt nevét.

Ellenőrizze, hogy elfogadom-e a fenti feltételeket, majd válassza a Vásárlás lehetőséget a peremcsomópont létrehozásához.

Fontos

Mindenképpen válassza ki a meglévő HDInsight-fürt Azure-erőforráscsoportját. Ellenkező esetben a következő hibaüzenet jelenik meg: "Nem lehet végrehajtani a kért műveletet a beágyazott erőforráson. A "ClusterName>" szülőerőforrás< nem található."

Élcsomópont hozzáadása fürt létrehozásakor

Ebben a szakaszban egy Resource Manager-sablonnal hoz létre EGY ÉL-csomóponttal rendelkező HDInsight-fürtöt. A Resource Manager-sablon az Azure rövid útmutatósablonok gyűjteményében található. A Resource Manager-sablon meghívja a következő helyen található szkriptműveletet https://raw.githubusercontent.com/Azure/azure-quickstart-templates/master/quickstarts/microsoft.hdinsight/hdinsight-linux-with-edge-node/scripts/EmptyNodeSetup.sh: . A szkript nem hajt végre semmilyen műveletet. Ez egy Resource Manager-sablonból származó szkriptművelet meghívásának bemutatása.

Hozzon létre egy HDInsight-fürtöt, ha még nem rendelkezik ilyennel. Lásd: A Hadoop használatának első lépései a HDInsightban.
Az alábbi kép kiválasztásával jelentkezzen be az Azure-ba, és nyissa meg az Azure Resource Manager-sablont az Azure Portalon.

Konfigurálja a következő tulajdonságokat:

Property	Leírás
Előfizetés	Válassza ki a fürt létrehozásához használt Azure-előfizetést.
Erőforráscsoport	Hozzon létre egy új erőforráscsoportot a fürthöz.
Hely	Válasszon egy helyet az erőforráscsoportnak.
Cluster Name	Adja meg a létrehozni kívánt új fürt nevét.
Fürt bejelentkezési felhasználóneve	Adja meg a Hadoop HTTP-felhasználónevet. Az alapértelmezett név az admin.
Fürt bejelentkezési jelszava	Adja meg a Hadoop HTTP felhasználói jelszavát.
SSH-felhasználónév	Adja meg az SSH-felhasználónevet. Az alapértelmezett név a sshuser.
SSH-jelszó	Adja meg az SSH felhasználói jelszavát.
Szkriptművelet telepítése	A cikk folytatásához tartsa meg az alapértelmezett értéket.

A sablonban néhány tulajdonságot rögzítettek: a fürt típusa, a fürt feldolgozó csomópontjainak száma, az Edge-csomópont mérete és az Edge-csomópont neve.

Ellenőrizze, hogy elfogadom-e a fenti feltételeket, majd válassza a Vásárlás lehetőséget a fürt peremcsomóponttal való létrehozásához.

Több élcsomópont hozzáadása

Egy HDInsight-fürthöz több élcsomópontot is hozzáadhat. A több élcsomópont konfigurálása csak Azure Resource Manager-sablonok használatával végezhető el. Tekintse meg a sablonmintát a cikk elején. Frissítse a targetInstanceCount-t a létrehozni kívánt élcsomópontok számának megfelelően.

Peremcsomópont elérése

A peremcsomópont ssh-végpontja az <EdgeNodeName>.<ClusterName-ssh.azurehdinsight.net:22>. Például new-edgenode.myedgenode0914-ssh.azurehdinsight.net:22.

A peremcsomópont alkalmazásként jelenik meg az Azure Portalon. A portál információt nyújt a peremcsomópont SSH-val való eléréséhez.

A peremcsomópont SSH-végpontjának ellenőrzése

Jelentkezzen be az Azure Portalra.
Nyissa meg a HDInsight-fürtöt egy peremcsomóponttal.
Válassza az Alkalmazások lehetőséget. Látnia kell a peremcsomópontot. Az alapértelmezett név az új élcsomópont.
Válassza ki a peremcsomópontot. Látnia kell az SSH-végpontot.

A Hive használata a peremcsomóponton

Csatlakozzon az élcsomóponthoz SSH használatával. További információk: Az SSH használata HDInsighttal.
Miután SSH-val csatlakozott az élcsomóponthoz, az alábbi paranccsal nyissa meg a Hive-konzolt:
```
hive
```
Futtassa a következő parancsot a Hive-táblák fürtben való megjelenítéséhez:
```
show tables;
```

Élcsomópont törlése

Törölhet egy peremcsomópontot az Azure Portalról.

Jelentkezzen be az Azure Portalra.
Nyissa meg a HDInsight-fürtöt egy peremcsomóponttal.
Válassza az Alkalmazások lehetőséget. Megjelenik az élcsomópontok listája.
Kattintson a jobb gombbal a törölni kívánt élcsomópontra, majd válassza a Törlés parancsot.
Válassza az Igen lehetőséget a megerősítéshez.

További lépések

Ebben a cikkben megtanulta, hogyan adhat hozzá élcsomópontot, és hogyan érheti el az élcsomópontot. További tudnivalókért olvassa el a következő cikket:

HDInsight-alkalmazások telepítése: Megtudhatja, hogyan telepíthet HDInsight-alkalmazásokat a fürtjeire.
Egyéni HDInsight-alkalmazások telepítése: megtudhatja, hogyan helyezhet üzembe nem közzétett HDInsight-alkalmazásokat a HDInsightban.
HDInsight-alkalmazások közzététele: Megtudhatja, hogyan teheti közzé egyéni HDInsight-alkalmazásait az Azure Piactéren.
MSDN: Install an HDInsight application (MSDN: HDInsight-alkalmazás telepítése): Megtudhatja, hogyan adhat meg HDInsight-alkalmazásokat.
Customize Linux-based HDInsight clusters using Script Action (Linux-alapú HDInsight-fürtök testreszabása parancsfájlműveletek segítségével): megtudhatja, hogyan telepíthet további alkalmazásokat parancsfájlműveletek használatával.
Linux-alapú Apache Hadoop-fürtök létrehozása a HDInsightban Resource Manager-sablonok használatával: megtudhatja, hogyan hívhatja meg a Resource Manager-sablonokat HDInsight-fürtök létrehozásához.

Megosztás a következőn keresztül: