Arkitektur för virtuella Azure HDInsight-nätverk
I den här artikeln beskrivs de resurser som finns när du distribuerar ett HDInsight-kluster till ett anpassat virtuellt Azure-nätverk. Den här informationen hjälper dig att ansluta lokala resurser till ditt HDInsight-kluster i Azure. Mer information om virtuella Azure-nätverk finns i Vad är Azure Virtual Network?.
Resurstyper i Azure HDInsight-kluster
Azure HDInsight-kluster har olika typer av virtuella datorer eller noder. Varje nodtyp spelar en roll i systemets drift. I följande tabell sammanfattas dessa nodtyper och deras roller i klustret.
| Typ | Beskrivning |
|---|---|
| ZooKeeper-nod | Zookeeper samordnar uppgifter mellan de noder som utför databearbetning. Det gör även val av ledare för huvudnoden och håller reda på vilken huvudnod som kör en specifik huvudtjänst. Antalet ZooKeeper-noder är fast vid tre. |
| Arbetsnod | Representerar de noder som stöder databehandlingsfunktioner. Arbetsnoder kan läggas till eller tas bort från klustret för att skala beräkningskapaciteten och hantera kostnader. |
| Regionnod | För HBase-klustertypen kör regionnoden (kallas även för en datanod) regionservern. Regionservrar hanterar en del av data som hanteras av HBase. Regionnoder kan läggas till eller tas bort från klustret för att skala beräkningskapaciteten och hantera kostnader. |
Namngivningskonventioner för resurser
Använd fullständigt kvalificerade domännamn (FQDN) när du adresserar noder i klustret. Du kan hämta FQDN:er för olika nodtyper i klustret med hjälp av Ambari-API:et.
Dessa FQDN:er kommer att vara av formatet <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.
<node-type-prefix> Kommer att vara hn för huvudnoder, wn för arbetsnoder och zn för zookeeper-noder.
Om du bara behöver värdnamnet använder du bara den första delen av FQDN: <node-type-prefix><instance-number>-<abbreviated-clustername>
Grundläggande virtuella nätverksresurser
Följande diagram visar placeringen av HDInsight-noder och nätverksresurser i Azure.
Standardresurserna i ett virtuellt Azure-nätverk innehåller de klusternodtyper som nämns i föregående tabell. Och nätverksenheter som stöder kommunikation mellan det virtuella nätverket och externa nätverk.
I följande tabell sammanfattas de nio klusternoder som skapades när HDInsight distribueras till ett anpassat virtuellt Azure-nätverk.
| Resurstyp | Nummer som finns | Details |
|---|---|---|
| Huvudnod | två | |
| Zookeeper-nod | tre | |
| Arbetsnod | två | Det här antalet kan variera beroende på klusterkonfiguration och skalning. Minst tre arbetsnoder krävs för Apache Kafka. |
| Gateway-nod | två | Gatewaynoder är virtuella Azure-datorer som skapas i Azure, men som inte visas i din prenumeration. Kontakta supporten om du behöver starta om dessa noder. |
Följande nätverksresurser skapas automatiskt i det virtuella nätverk som används med HDInsight:
| Nätverksresurs | Nummer som finns | Details |
|---|---|---|
| Lastbalanserare | tre | |
| Nätverksgränssnitt | Nio | Det här värdet baseras på ett normalt kluster, där varje nod har ett eget nätverksgränssnitt. De nio gränssnitten gäller: två huvudnoder, tre zookeeper-noder, två arbetsnoder och två gatewaynoder som nämns i föregående tabell. |
| Offentliga IP-adresser | två |
Slutpunkter för anslutning till HDInsight
Du kan komma åt HDInsight-klustret på tre sätt:
- En HTTPS-slutpunkt utanför det virtuella nätverket på
CLUSTERNAME.azurehdinsight.net. - En SSH-slutpunkt för direkt anslutning till huvudnoden på
CLUSTERNAME-ssh.azurehdinsight.net. - En HTTPS-slutpunkt i det virtuella nätverket
CLUSTERNAME-int.azurehdinsight.net. Lägg märke till "-int" i den här URL:en. Den här slutpunkten matchar en privat IP-adress i det virtuella nätverket och är inte tillgänglig från det offentliga Internet.
Dessa tre slutpunkter tilldelas var och en en lastbalanserare.
Offentliga IP-adresser tillhandahålls också till de två slutpunkter som tillåter anslutning utanför det virtuella nätverket.
- En offentlig IP-adress tilldelas lastbalanseraren för det fullständigt kvalificerade domännamnet (FQDN) som ska användas när du ansluter till klustret från Internet
CLUSTERNAME.azurehdinsight.net. - Den andra offentliga IP-adressen används endast för SSH-domännamnet
CLUSTERNAME-ssh.azurehdinsight.net.