Dela via


Arkitektur för virtuella Azure HDInsight-nätverk

I den här artikeln beskrivs de resurser som finns när du distribuerar ett HDInsight-kluster till ett anpassat virtuellt Azure-nätverk. Den här informationen hjälper dig att ansluta lokala resurser till ditt HDInsight-kluster i Azure. Mer information om virtuella Azure-nätverk finns i Vad är Azure Virtual Network?.

Resurstyper i Azure HDInsight-kluster

Azure HDInsight-kluster har olika typer av virtuella datorer eller noder. Varje nodtyp spelar en roll i systemets drift. I följande tabell sammanfattas dessa nodtyper och deras roller i klustret.

Typ Beskrivning
ZooKeeper-nod Zookeeper samordnar uppgifter mellan de noder som utför databearbetning. Det gör även val av ledare för huvudnoden och håller reda på vilken huvudnod som kör en specifik huvudtjänst. Antalet ZooKeeper-noder är fast vid tre.
Arbetsnod Representerar de noder som stöder databehandlingsfunktioner. Arbetsnoder kan läggas till eller tas bort från klustret för att skala beräkningskapaciteten och hantera kostnader.
Regionnod För HBase-klustertypen kör regionnoden (kallas även för en datanod) regionservern. Regionservrar hanterar en del av data som hanteras av HBase. Regionnoder kan läggas till eller tas bort från klustret för att skala beräkningskapaciteten och hantera kostnader.

Namngivningskonventioner för resurser

Använd fullständigt kvalificerade domännamn (FQDN) när du adresserar noder i klustret. Du kan hämta FQDN:er för olika nodtyper i klustret med hjälp av Ambari-API:et.

Dessa FQDN:er kommer att vara av formatet <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net.

<node-type-prefix> Kommer att vara hn för huvudnoder, wn för arbetsnoder och zn för zookeeper-noder.

Om du bara behöver värdnamnet använder du bara den första delen av FQDN: <node-type-prefix><instance-number>-<abbreviated-clustername>

Grundläggande virtuella nätverksresurser

Följande diagram visar placeringen av HDInsight-noder och nätverksresurser i Azure.

Diagram of HDInsight entities created in Azure custom VNET.

Standardresurserna i ett virtuellt Azure-nätverk innehåller de klusternodtyper som nämns i föregående tabell. Och nätverksenheter som stöder kommunikation mellan det virtuella nätverket och externa nätverk.

I följande tabell sammanfattas de nio klusternoder som skapades när HDInsight distribueras till ett anpassat virtuellt Azure-nätverk.

Resurstyp Nummer som finns Details
Huvudnod två
Zookeeper-nod tre
Arbetsnod två Det här antalet kan variera beroende på klusterkonfiguration och skalning. Minst tre arbetsnoder krävs för Apache Kafka.
Gateway-nod två Gatewaynoder är virtuella Azure-datorer som skapas i Azure, men som inte visas i din prenumeration. Kontakta supporten om du behöver starta om dessa noder.

Följande nätverksresurser skapas automatiskt i det virtuella nätverk som används med HDInsight:

Nätverksresurs Nummer som finns Details
Lastbalanserare tre
Nätverksgränssnitt Nio Det här värdet baseras på ett normalt kluster, där varje nod har ett eget nätverksgränssnitt. De nio gränssnitten gäller: två huvudnoder, tre zookeeper-noder, två arbetsnoder och två gatewaynoder som nämns i föregående tabell.
Offentliga IP-adresser två

Slutpunkter för anslutning till HDInsight

Du kan komma åt HDInsight-klustret på tre sätt:

  • En HTTPS-slutpunkt utanför det virtuella nätverket på CLUSTERNAME.azurehdinsight.net.
  • En SSH-slutpunkt för direkt anslutning till huvudnoden på CLUSTERNAME-ssh.azurehdinsight.net.
  • En HTTPS-slutpunkt i det virtuella nätverket CLUSTERNAME-int.azurehdinsight.net. Lägg märke till "-int" i den här URL:en. Den här slutpunkten matchar en privat IP-adress i det virtuella nätverket och är inte tillgänglig från det offentliga Internet.

Dessa tre slutpunkter tilldelas var och en en lastbalanserare.

Offentliga IP-adresser tillhandahålls också till de två slutpunkter som tillåter anslutning utanför det virtuella nätverket.

  1. En offentlig IP-adress tilldelas lastbalanseraren för det fullständigt kvalificerade domännamnet (FQDN) som ska användas när du ansluter till klustret från Internet CLUSTERNAME.azurehdinsight.net.
  2. Den andra offentliga IP-adressen används endast för SSH-domännamnet CLUSTERNAME-ssh.azurehdinsight.net.

Nästa steg