Apache HBase-clusters maken in HDInsight in Azure Virtual Network

Artikel
10/17/2024

Meer informatie over het maken van Azure HDInsight Apache HBase-clusters in een virtueel Azure-netwerk.

Met integratie van virtuele netwerken kunnen Apache HBase-clusters worden geïmplementeerd in hetzelfde virtuele netwerk als uw toepassingen, zodat toepassingen rechtstreeks met HBase kunnen communiceren. Tot de voordelen behoren onder meer:

Directe connectiviteit van de webtoepassing met de knooppunten van het HBase-cluster, waardoor communicatie via RPC-API's (Remote Procedure Call) van HBase Java mogelijk is.
Verbeterde prestaties door uw verkeer niet via meerdere gateways en load balancers te laten lopen.
De mogelijkheid om gevoelige informatie op een veiligere manier te verwerken zonder een openbaar eindpunt beschikbaar te maken.

Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.

Een Apache HBase-cluster maken in een virtueel netwerk

In deze sectie maakt u een Apache HBase-cluster op basis van Linux met het afhankelijke Azure Storage-account in een virtueel Azure-netwerk met behulp van een Azure Resource Manager-sjabloon. Zie HDInsight-clusters maken voor andere methoden voor het maken van clusters en inzicht in de instellingen. Zie Apache Hadoop-clusters maken in HDInsight voor meer informatie over het gebruik van een sjabloon voor het maken van Apache Hadoop-clusters in HDInsight met behulp van Azure Resource Manager-sjablonen

Notitie

Sommige eigenschappen zijn vastgelegd in de sjabloon. Voorbeeld:

Locatie: VS - oost 2
Cluster-versie: 3.6
Aantal clusterwerkknooppunten: 2
Standaardopslagaccount: een unieke tekenreeks
Naam van virtueel netwerk: CLUSTERNAME-vnet
Adresruimte van virtueel netwerk: 10.0.0.0/16
Subnetnaam: subnet1
Subnetadresbereik: 10.0.0.0/24

CLUSTERNAME wordt vervangen door de clusternaam die u opgeeft bij het gebruik van de sjabloon.

Selecteer de volgende afbeelding om de sjabloon in Azure Portal te openen. De sjabloon bevindt zich in Azure-quickstart-sjablonen.
Selecteer in het dialoogvenster Aangepaste implementatie de optie Sjabloon bewerken.
Wijzig de waarde Standard_A3 op regel 165 in Standard_A4_V2. Selecteer vervolgens Opslaan.

Voltooi de resterende sjabloon met de volgende informatie:

Eigenschappen	Weergegeven als
Abonnement	Selecteer een Azure-abonnement dat wordt gebruikt om het HDInsight-cluster, het afhankelijke opslagaccount en het virtuele Azure-netwerk te maken.
Resourcegroep	Selecteer Nieuwe maken en geef een nieuwe resourcegroepnaam op.
Locatie	Selecteer een locatie voor de resourcegroep.
Clusternaam	Voer een naam in voor het Hadoop-cluster dat moet worden gemaakt.
Gebruikersnaam en wachtwoord voor clusteraanmelding	De standaardgebruikersnaam is beheerder. Geef een wachtwoord op.
Ssh-gebruikersnaam en -wachtwoord	De standaardgebruikersnaam is sshuser. Geef een wachtwoord op.

Selecteer Ik ga akkoord met de voorwaarden.

Selecteer Kopen. Het duurt ongeveer 20 minuten om een cluster te maken. Zodra het cluster is gemaakt, kunt u het cluster in de portal selecteren om het te openen.

Nadat u het artikel hebt voltooid, kunt u het cluster verwijderen. Met HDInsight worden uw gegevens opgeslagen in Azure Storage zodat u een cluster veilig kunt verwijderen wanneer deze niet wordt gebruikt. Er worden ook kosten in rekening gebracht voor een HDInsight-cluster, zelfs wanneer het niet in gebruik is. Aangezien de kosten voor het cluster vaak zoveel hoger zijn dan de kosten voor opslag, is het financieel gezien logischer clusters te verwijderen wanneer ze niet worden gebruikt. Zie Apache Hadoop-clusters beheren in HDInsight met behulp van Azure Portal voor instructies voor het verwijderen van een cluster.

Als u met uw nieuwe HBase-cluster wilt werken, kunt u de procedures in Aan de slag met Apache HBase gebruiken met Apache Hadoop in HDInsight.

Verbinding maken met het Apache HBase-cluster met behulp van Apache HBase Java RPC API's

Maak een virtuele machine

Maak een virtuele IaaS-machine (Infrastructure as a Service) in hetzelfde virtuele Azure-netwerk en hetzelfde subnet. Zie Een virtuele Machine met Windows Server maken voor instructies voor het maken van een nieuwe Virtuele IaaS-machine. Wanneer u de stappen in dit document volgt, moet u de volgende waarden gebruiken voor de netwerkconfiguratie:

Virtueel netwerk: CLUSTERNAME-vnet
Subnet: subnet1

Belangrijk

Vervang CLUSTERNAME door de naam die u hebt gebruikt bij het maken van het HDInsight-cluster in de vorige stappen.

Door deze waarden te gebruiken, wordt de virtuele machine in hetzelfde virtuele netwerk en subnet geplaatst als het HDInsight-cluster. Met deze configuratie kunnen ze rechtstreeks met elkaar communiceren. Er is een manier om een HDInsight-cluster te maken met een leeg edge-knooppunt. Het Edge-knooppunt kan worden gebruikt om het cluster te beheren. Zie Lege edge-knooppunten gebruiken in HDInsight voor meer informatie.

Volledig gekwalificeerde domeinnaam verkrijgen

Wanneer u een Java-toepassing gebruikt om extern verbinding te maken met HBase, moet u de FQDN (Fully Qualified Domain Name) gebruiken. Om te bepalen, moet u het verbindingsspecifieke DNS-achtervoegsel van het HBase-cluster ophalen. Hiervoor kunt u een van de volgende methoden gebruiken:

Gebruik een webbrowser om een Apache Ambari-aanroep te maken:

Blader naar https://CLUSTERNAME.azurehdinsight.net/api/v1/clusters/CLUSTERNAME/hosts?minimal_response=true. Het retourneert een JSON-bestand met de DNS-achtervoegsels.
Gebruik de Ambari-website:
1. Blader naar https://CLUSTERNAME.azurehdinsight.net.
2. Selecteer Hosts in het bovenste menu.

Gebruik Curl om REST-aanroepen te maken:

curl -u <username>:<password> -k https://CLUSTERNAME.azurehdinsight.net/ambari/api/v1/clusters/CLUSTERNAME.azurehdinsight.net/services/hbase/components/hbrest

Zoek in de geretourneerde JSON-gegevens (JavaScript Object Notation) de vermelding 'host_name'. Deze bevat de FQDN voor de knooppunten in het cluster. Voorbeeld:

"host_name" : "hn*.hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net"

Het gedeelte van de domeinnaam dat begint met de clusternaam is het DNS-achtervoegsel. Bijvoorbeeld: hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net.

Communicatie binnen een virtueel netwerk controleren

Als u wilt controleren of de virtuele machine kan communiceren met het HBase-cluster, gebruikt u de opdracht ping headnode0.<dns suffix> van de virtuele machine. Bijvoorbeeld: ping hn*.hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net.

Als u deze informatie wilt gebruiken in een Java-toepassing, volgt u de stappen in Apache Maven gebruiken om Java-toepassingen te bouwen die Apache HBase gebruiken met HDInsight (Hadoop) om een toepassing te maken. Als u wilt dat de toepassing verbinding maakt met een externe HBase-server, wijzigt u het hbase-site.xml-bestand in dit voorbeeld om de FQDN voor Zookeeper te gebruiken. Bijvoorbeeld:

<property>
    <name>hbase.zookeeper.quorum</name>
    <value>zookeeper0.<dns suffix>,zookeeper1.<dns suffix>,zookeeper2.<dns suffix></value>
</property>

Notitie

Zie Naamomzetting (DNS) voor meer informatie over naamomzetting in virtuele Azure-netwerken, waaronder het gebruik van uw eigen DNS-server.

Volgende stappen

In dit artikel hebt u geleerd hoe u een Apache HBase-cluster maakt. Raadpleeg voor meer informatie:

Delen via