Vytváření clusterů Apache HBase ve službě HDInsight ve službě Azure Virtual Network

Článek
10/17/2024

Naučte se vytvářet clustery Azure HDInsight Apache HBase ve službě Azure Virtual Network.

Díky integraci virtuální sítě je možné clustery Apache HBase nasadit do stejné virtuální sítě jako aplikace, aby aplikace mohly komunikovat s HBase přímo. Nabízí například tyto výhody:

Přímé připojení webové aplikace k uzlům clusteru HBase, které umožňuje komunikaci prostřednictvím rozhraní API vzdáleného volání procedur javy (RPC).
Lepší výkon díky tomu, že provoz neprochází přes více bran a nástrojů pro vyrovnávání zatížení.
Možnost zpracovávat citlivé informace bezpečnějším způsobem bez zveřejnění veřejného koncového bodu.

Pokud ještě nemáte předplatné Azure, vytvořte si napřed bezplatný účet.

Vytvoření clusteru Apache HBase do virtuální sítě

V této části vytvoříte cluster Apache HBase založený na Linuxu se závislým účtem Azure Storage ve virtuální síti Azure pomocí šablony Azure Resource Manageru. Další metody vytváření clusterů a vysvětlení nastavení najdete v tématu Vytváření clusterů HDInsight. Další informace o použití šablony k vytvoření clusterů Apache Hadoop ve službě HDInsight najdete v tématu Vytváření clusterů Apache Hadoop ve službě HDInsight pomocí šablon Azure Resource Manageru.

Poznámka:

Některé vlastnosti jsou pevně zakódované do šablony. Příklad:

Umístění: USA – východ 2
Verze clusteru: 3.6
Počet pracovních uzlů clusteru: 2
Výchozí účet úložiště: jedinečný řetězec
Název virtuální sítě: CLUSTERNAME-vnet
Adresní prostor virtuální sítě: 10.0.0.0/16
Název podsítě: podsíť1
Rozsah adres podsítě: 10.0.0.0/24

CLUSTERNAME je nahrazen názvem clusteru, který zadáte při použití šablony.

Výběrem následujícího obrázku otevřete šablonu na webu Azure Portal. Šablona se nachází v šablonách rychlého startu Azure.
V dialogovém okně Vlastní nasazení vyberte Upravit šablonu.
Na řádku 165 změňte hodnotu Standard_A3 na Standard_A4_V2. Pak vyberte Uložit.

Dokončete zbývající šablonu s následujícími informacemi:

Vlastnost	Hodnota
Předplatné	Vyberte předplatné Azure použité k vytvoření clusteru HDInsight, závislého účtu úložiště a virtuální sítě Azure.
Skupina prostředků	Vyberte Vytvořit nový a zadejte nový název skupiny prostředků.
Umístění	Vyberte umístění skupiny prostředků.
Název clusteru	Zadejte název clusteru Hadoop, který se má vytvořit.
Přihlašovací uživatelské jméno a heslo clusteru	Výchozí uživatelské jméno je správce. Zadejte heslo.
Uživatelské jméno a heslo SSH	Výchozí uživatelské jméno je sshuser. Zadejte heslo.

Vyberte Souhlasím s podmínkami a ujednáními.

Vyberte Koupit. Vytvoření clusteru trvá přibližně 20 minut. Po vytvoření clusteru můžete cluster vybrat na portálu a otevřít ho.

Po dokončení článku možná budete chtít cluster odstranit. S HDInsight jsou vaše data uložená ve službě Azure Storage, takže můžete cluster bezpečně odstranit, když se nepoužívá. Za cluster HDInsight se vám také účtují poplatky, i když se nepoužívá. Vzhledem k tomu, že poplatky za cluster jsou mnohokrát vyšší než poplatky za úložiště, dává smysl odstranit clustery, když se nepoužívají. Pokyny k odstranění clusteru najdete v tématu Správa clusterů Apache Hadoop ve službě HDInsight pomocí webu Azure Portal.

Pokud chcete začít pracovat s novým clusterem HBase, můžete použít postupy, které najdete v tématu Začínáme používat Apache HBase s Apache Hadoopem ve službě HDInsight.

Připojení ke clusteru Apache HBase pomocí rozhraní APACHE HBase Java RPC API

Vytvoření virtuálního počítače

Vytvořte virtuální počítač infrastruktura jako služba (IaaS) do stejné virtuální sítě Azure a stejné podsítě. Pokyny k vytvoření nového virtuálního počítače IaaS najdete v tématu Vytvoření virtuálního počítače s Windows Serverem. Pokud postupujete podle kroků v tomto dokumentu, musíte pro konfiguraci sítě použít následující hodnoty:

Virtuální síť: CLUSTERNAME-vnet
Podsíť: podsíť1

Důležité

Nahraďte CLUSTERNAME názvem, který jste použili při vytváření clusteru HDInsight v předchozích krocích.

Pomocí těchto hodnot se virtuální počítač umístí do stejné virtuální sítě a podsítě jako cluster HDInsight. Tato konfigurace jim umožňuje přímo komunikovat mezi sebou. Existuje způsob, jak vytvořit cluster HDInsight s prázdným hraničním uzlem. Hraniční uzel lze použít ke správě clusteru. Další informace najdete v tématu Použití prázdných hraničních uzlů ve službě HDInsight.

Získání plně kvalifikovaného názvu domény

Při vzdáleném připojení k HBase pomocí aplikace Java je nutné použít plně kvalifikovaný název domény (FQDN). Pokud chcete zjistit, musíte získat příponu DNS specifickou pro připojení clusteru HBase. K tomu můžete použít jednu z následujících metod:

Volání Apache Ambari pomocí webového prohlížeče:

Přejděte na https://CLUSTERNAME.azurehdinsight.net/api/v1/clusters/CLUSTERNAME/hosts?minimal_response=true. Vrátí soubor JSON s příponami DNS.
Použijte web Ambari:
1. Přejděte na https://CLUSTERNAME.azurehdinsight.net.
2. V horní nabídce vyberte Hostitele .

Použití curl k volání REST:

curl -u <username>:<password> -k https://CLUSTERNAME.azurehdinsight.net/ambari/api/v1/clusters/CLUSTERNAME.azurehdinsight.net/services/hbase/components/hbrest

Ve vrácených datech JSON (JavaScript Object Notation) vyhledejte položku "host_name". Obsahuje plně kvalifikovaný název domény pro uzly v clusteru. Příklad:

"host_name" : "hn*.hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net"

Část názvu domény začínající názvem clusteru je přípona DNS. Například hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net.

Ověření komunikace uvnitř virtuální sítě

Pokud chcete ověřit, že virtuální počítač může komunikovat s clusterem HBase, použijte příkaz ping headnode0.<dns suffix> z virtuálního počítače. Například ping hn*.hjfrnszlumfuhfk4pi1guh410c.bx.internal.cloudapp.net.

Pokud chcete tyto informace použít v aplikaci v Javě, můžete postupovat podle kroků v nástroji Apache Maven k sestavení aplikací Java, které používají Apache HBase se službou HDInsight (Hadoop) k vytvoření aplikace. Chcete-li, aby se aplikace připojila ke vzdálenému serveru HBase, upravte soubor hbase-site.xml v tomto příkladu tak, aby používal plně kvalifikovaný název domény pro Zookeeper. Příklad:

<property>
    <name>hbase.zookeeper.quorum</name>
    <value>zookeeper0.<dns suffix>,zookeeper1.<dns suffix>,zookeeper2.<dns suffix></value>
</property>

Poznámka:

Další informace o překladu názvů ve virtuálních sítích Azure, včetně použití vlastního serveru DNS, najdete v tématu Překlad názvů (DNS).

Další kroky

V tomto článku jste se dozvěděli, jak vytvořit cluster Apache HBase. Další informace najdete v následujících tématech:

Sdílet prostřednictvím