Apache HBase-fürtök létrehozása a HDInsighton az Azure Virtual Networkben

Cikk
10/18/2023

Megtudhatja, hogyan hozhat létre Azure HDInsight Apache HBase-fürtöket egy Azure-beli virtuális hálózaton.

A virtuális hálózati integrációval az Apache HBase-fürtök ugyanazon a virtuális hálózaton helyezhetők üzembe, mint az alkalmazások, így az alkalmazások közvetlenül kommunikálhatnak a HBase-rel. Ez a következő előnyöket nyújtja:

A webalkalmazás közvetlen kapcsolata a HBase-fürt csomópontjaival, amely lehetővé teszi a HBase Java távoli eljáráshívási (RPC) API-kon keresztüli kommunikációt.
Jobb teljesítmény, ha a forgalom nem halad át több átjárón és terheléselosztón.
A bizalmas információk biztonságosabb feldolgozásának lehetősége nyilvános végpont felfedése nélkül.

Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.

Apache HBase-fürt létrehozása virtuális hálózatba

Ebben a szakaszban egy Linux-alapú Apache HBase-fürtöt hoz létre a függő Azure Storage-fiókkal egy Azure-beli virtuális hálózatban egy Azure Resource Manager-sablon használatával. A többi fürtlétrehozási módszerről és a beállítások megismeréséről a HDInsight-fürtök létrehozása című témakörben olvashat. További információ az Apache Hadoop-fürtök HDInsightban való létrehozásáról: Apache Hadoop-fürtök létrehozása a HDInsightban Azure Resource Manager-sablonok használatával

Megjegyzés:

Egyes tulajdonságokat a rendszer keményen kódolt a sablonba. Például:

Hely: USA 2. keleti régiója
Fürt verziója: 3.6
Fürt feldolgozó csomópontszáma: 2
Alapértelmezett tárfiók: egyedi sztring
Virtuális hálózat neve: CLUSTERNAME-vnet
Virtuális hálózati címtér: 10.0.0.0/16
Alhálózat neve: alhálózat1
Alhálózati címtartomány: 10.0.0.0/24

CLUSTERNAME a sablon használatakor megadott fürtnévre cseréli.

Az alábbi kép kiválasztásával nyissa meg a sablont az Azure Portalon. A sablon az Azure rövid útmutatósablonjaiban található.
Az Egyéni üzembe helyezés párbeszédpanelen válassza a Sablon szerkesztése lehetőséget.
A 165. sorban módosítsa az Standard_A4_V2értéket Standard_A3 . Ezután válassza a Mentés gombra.

Töltse ki a fennmaradó sablont a következő információkkal:

Tulajdonság	Érték
Subscription	Válassza ki a HDInsight-fürt, a függő Storage-fiók és az Azure-beli virtuális hálózat létrehozásához használt Azure-előfizetést.
Erőforráscsoport	Válassza az Új létrehozása lehetőséget, és adjon meg egy új erőforráscsoportnevet.
Location	Válasszon egy helyet az erőforráscsoportnak.
Cluster Name	Adja meg a létrehozandó Hadoop-fürt nevét.
Fürt bejelentkezési felhasználóneve és jelszava	Az alapértelmezett felhasználónév a rendszergazda. Adjon meg egy jelszót.
Ssh felhasználónév és jelszó	Az alapértelmezett felhasználónév a sshuser. Adjon meg egy jelszót.

Válassza az Elfogadom a feltételeket és a feltételeket.

Válassza a Vásárlás lehetőséget. Egy fürt létrehozása nagyjából 20 percet vesz igénybe. A fürt létrehozása után a portálon kiválaszthatja a fürtöt a megnyitásához.

A cikk befejezése után érdemes lehet törölni a fürtöt. A HDInsight az Azure Storage szolgáltatásban tárolja az adatokat, így biztonságosan törölhet olyan fürtöket, amelyek nincsenek használatban. Ráadásul a HDInsight-fürtök akkor is díjkötelesek, amikor éppen nincsenek használatban. Mivel a fürt költsége a sokszorosa a tároló költségeinek, gazdaságossági szempontból is ésszerű törölni a használaton kívüli fürtöket. A fürtök törlésére vonatkozó utasításokért lásd : Apache Hadoop-fürtök kezelése a HDInsightban az Azure Portal használatával.

Az új HBase-fürt használatának megkezdéséhez használhatja az Apache HBase és az Apache Hadoop használatának első lépéseit a HDInsightban.

Csatlakozás az Apache HBase-fürthöz Apache HBase Java RPC API-k használatával

Virtuális gép létrehozása

Hozzon létre egy infrastruktúrát szolgáltatásként (IaaS) virtuális gépként ugyanabba az Azure-beli virtuális hálózatba és ugyanahhoz az alhálózathoz. Az új IaaS virtuális gép létrehozásával kapcsolatos utasításokért lásd : Windows Server rendszerű virtuális gép létrehozása. A dokumentum lépéseinek végrehajtásakor a hálózati konfigurációhoz a következő értékeket kell használnia:

Virtuális hálózat: CLUSTERNAME-vnet
Alhálózat: alhálózat1

Fontos

Cserélje le CLUSTERNAME a HDInsight-fürt előző lépésekben való létrehozásakor használt névre.

Ezen értékek használatával a virtuális gép ugyanabba a virtuális hálózatba és alhálózatba kerül, mint a HDInsight-fürt. Ez a konfiguráció lehetővé teszi számukra, hogy közvetlenül kommunikáljanak egymással. Egy üres peremcsomóponttal rendelkező HDInsight-fürtöt is létrehozhat. A peremcsomópont használható a fürt kezelésére. További információ: Üres élcsomópontok használata a HDInsightban.

Teljes tartománynév lekérése

Ha java-alkalmazással csatlakozik távolról a HBase-hez, a teljes tartománynevet (FQDN) kell használnia. A meghatározáshoz be kell szereznie a HBase-fürt kapcsolatspecifikus DNS-utótagját. Ehhez az alábbi módszerek egyikét használhatja:

Apache Ambari-hívás indítása webböngészővel:

Nyissa meg a következő címet: https://CLUSTERNAME.azurehdinsight.net/api/v1/clusters/CLUSTERNAME/hosts?minimal_response=true. Egy JSON-fájlt ad vissza a DNS-utótagokkal.
Használja az Ambari webhelyet:
1. Nyissa meg a következő címet: https://CLUSTERNAME.azurehdinsight.net.
2. Válassza a Gazdagépek lehetőséget a felső menüben.

REST-hívások indítása a Curl használatával:

curl -u <username>:<password> -k https://CLUSTERNAME.azurehdinsight.net/ambari/api/v1/clusters/CLUSTERNAME.azurehdinsight.net/services/hbase/components/hbrest

A visszaadott JavaScript Object Notation (JSON) adatok között keresse meg a "host_name" bejegyzést. A fürt csomópontjaihoz tartozó teljes tartománynevet tartalmazza. Például:

"host_name" : "hn*.hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net"

A tartománynév fürtnévvel kezdődő része a DNS-utótag. For example, hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net.

A virtuális hálózaton belüli kommunikáció ellenőrzése

Annak ellenőrzéséhez, hogy a virtuális gép képes-e kommunikálni a HBase-fürttel, használja a virtuális gép parancsát ping headnode0.<dns suffix> . For example, ping hn*.hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net.

Ha ezeket az információkat egy Java-alkalmazásban szeretné használni, kövesse az Apache Maven használatának lépéseit az Apache HBase-t HDInsighttal (Hadoop) használó Java-alkalmazások létrehozásához egy alkalmazás létrehozásához. Ha azt szeretné, hogy az alkalmazás távoli HBase-kiszolgálóhoz csatlakozzon, módosítsa a példában szereplő hbase-site.xml fájlt a Zookeeper FQDN-jének használatára. Például:

<property>
    <name>hbase.zookeeper.quorum</name>
    <value>zookeeper0.<dns suffix>,zookeeper1.<dns suffix>,zookeeper2.<dns suffix></value>
</property>

Megjegyzés:

További információ az Azure-beli virtuális hálózatok névfeloldásáról, beleértve a saját DNS-kiszolgáló használatát is: Névfeloldás (DNS).

Következő lépések

Ebben a cikkben megtanulta, hogyan hozhat létre Apache HBase-fürtöt. To learn more, see:

Share via