Virtuelle Netzwerkarchitektur mit Azure HDInsight
In diesem Artikel werden die Ressourcen erläutert, die beim Bereitstellen eines HDInsight-Clusters in einem benutzerdefinierten virtuellen Azure-Netzwerk vorhanden sind. Diese Informationen sollen Ihnen dabei helfen, Ihre lokalen Ressourcen mit Ihrem HDInsight-Cluster in Azure zu verbinden. Weitere Informationen zu virtuellen Azure-Netzwerken finden Sie unter Was ist Azure Virtual Network?.
Ressourcentypen in Azure HDInsight-Clustern
In Azure HDInsight-Clustern gibt es unterschiedliche Typen virtueller Computer bzw. Knoten. Jeder Knotentyp spielt eine Rolle beim Betrieb des Systems. In der folgenden Tabelle sind diese Knotentypen und ihre Rollen im Cluster zusammengefasst.
| type | BESCHREIBUNG |
|---|---|
| ZooKeeper-Knoten | Zookeeper koordiniert Aufgaben zwischen den Knoten, welche die Datenverarbeitung ausführen. Er nimmt auch die Auswahl des führenden Hauptknotens vor, und verfolgt, welcher Hauptknoten einen bestimmten Master-Dienst ausführt. Die Anzahl der ZooKeeper-Knoten ist auf drei festgelegt. |
| Workerknoten | Dies sind die Knoten, welche die Datenverarbeitungsfunktionen unterstützen. Workerknoten können dem Cluster hinzugefügt oder aus dem Cluster entfernt werden, um die Computingleistung zu skalieren und die Kosten zu verwalten. |
| Regionsknoten | Beim HBase-Clustertyp führt der Regionsknoten (auch als Datenknoten bezeichnet) den Regionsserver aus. Regionsserver stellen einen Teil der von HBase verwalteten Daten bereit und verwalten diese. Regionsknoten können dem Cluster hinzugefügt oder aus dem Cluster entfernt werden, um die Computingleistung zu skalieren und die Kosten zu verwalten. |
Konventionen für Ressourcennamen
Verwenden Sie bei der Adressierung von Knoten in Ihrem Cluster vollqualifizierte Domänennamen (FQDNs). Sie können die vollqualifizierten Namen für verschiedene Knotentypen in Ihrem Cluster mithilfe der Ambari-API abrufen.
Diese FQDNs weisen das Format <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net auf.
<node-type-prefix> ist für Hauptknotenhn, für Workerknoten wn und für ZooKeeper-Knoten zn.
Wenn Sie nur den Hostnamen benötigen, verwenden Sie nur den ersten Teil des FQDN: <node-type-prefix><instance-number>-<abbreviated-clustername>
Allgemeine virtuelle Netzwerkressourcen
Das folgende Diagramm zeigt die Platzierung von HDInsight-Knoten und Netzwerkressourcen in Azure.
Die Standardressourcen in einem virtuellen Azure-Netzwerk umfassen die in der vorherigen Tabelle genannten Clusterknotentypen. Außerdem Netzwerkgeräte, die die Kommunikation zwischen dem virtuellen Netzwerk und externen Netzwerken unterstützen.
Die folgende Tabelle enthält die neun Clusterknoten, die erstellt werden, wenn HDInsight in einem benutzerdefinierten virtuellen Azure-Netzwerk bereitgestellt wird.
| Ressourcentyp | Vorhandene Anzahl | Details |
|---|---|---|
| Hauptknoten | two | |
| ZooKeeper-Knoten | three | |
| Workerknoten | two | Diese Anzahl kann sich je nach Clusterkonfiguration und Skalierung ändern. Für Apache Kafka sind mindestens drei Workerknoten erforderlich. |
| Gatewayknoten | two | Gatewayknoten sind virtuelle Azure-Computer, die zwar in Azure erstellt, in Ihrem Abonnement jedoch nicht angezeigt werden. Wenden Sie sich an den Support, wenn Sie diese Knoten neu starten müssen. |
Die folgenden Netzwerkressourcen werden innerhalb des virtuellen Netzwerks, das mit HDInsight verwendet wird, automatisch erstellt:
| Netzwerkressource | Vorhandene Anzahl | Details |
|---|---|---|
| Load Balancer | Zwei | Der Lastenausgleich bietet eingehenden Netzwerkzugriff für die Knoten. Die beiden Lastenausgleichsmodule sind für zwei Hauptknoten und zwei Gatewayknoten. Für die Lastenausgleichsmodule ist die Standard-SKU festgelegt. |
| Netzwerkschnittstellen | neun | Dieser Wert basiert auf einem normalen Cluster, in dem jeder Knoten eine eigene Netzwerkschnittstelle hat. Die neun Schnittstellen sind für die in der vorherigen Tabelle beschriebenen Knoten bestimmt: zwei Hauptknoten, drei Zookeeper-Knoten, zwei Workerknoten und zwei Gatewayknoten. |
| Öffentliche IP-Adressen | two | Zwei öffentliche IP-Adressen werden an die Lastenausgleichsmodule gebunden. |
Es gibt mehrere Methoden für ausgehende Konnektivität, die mit dem benutzerdefinierten virtuellen Netzwerk verwendet werden können. Entsprechende Informationen finden Sie unter Verwenden der Quell-Netzwerkadressenübersetzung (SNAT) für ausgehende Verbindungen.
Hinweis
Am besten ist es, das Subnetz mit einem NAT-Gateway zu verbinden. Dafür sind ein NAT-Gateway und eine im Subnetz erstellte Netzwerksicherheitsgruppe erforderlich, bevor Sie den HDInsight-Cluster erstellen. Sie können eine öffentliche IP-Adresse oder ein öffentliches IP-Präfix mit dem NAT-Gateway verknüpfen. Informationen zu den zu erstellenden NSG-Regeln finden Sie unter Steuern des Netzwerkdatenverkehrs in Azure HDInsight.
Endpunkte zum Herstellen einer Verbindung mit HDInsight
Sie können auf drei verschiedene Arten auf Ihren HDInsight-Cluster zugreifen:
- HTTPS-Endpunkt außerhalb des virtuellen Netzwerks in
CLUSTERNAME.azurehdinsight.net. - SSH-Endpunkt für die direkte Verbindung mit dem Hauptknoten in
CLUSTERNAME-ssh.azurehdinsight.net. - HTTPS-Endpunkt innerhalb des virtuellen Netzwerks
CLUSTERNAME-int.azurehdinsight.net. Achten Sie auf-intin dieser URL. Dieser Endpunkt wird in eine private IP-Adresse im virtuellen Netzwerk aufgelöst und kann nicht über das öffentliche Internet aufgerufen werden.
Diesen drei Endpunkten wird jeweils ein Lastenausgleich zugewiesen.
Öffentliche IP-Adressen werden auch für die beiden Endpunkte bereitgestellt, die eine externe Verbindung (von außerhalb des virtuellen Netzwerks) zulassen.
- Eine öffentliche IP-Adresse wird dem Lastenausgleich als vollständig qualifizierter Domänenname (FQDN) zugewiesen, der beim Herstellen einer Verbindung mit dem Cluster über das Internet verwendet wird
CLUSTERNAME.azurehdinsight.net. - Die zweite öffentliche IP-Adresse wird für den Domänennamen verwendet, der ausschließlich für die SSH-Verbindung bestimmt ist
CLUSTERNAME-ssh.azurehdinsight.net.