Steuern des Netzwerkdatenverkehrs in Azure HDInsight

  • Artikel

Sie können den Netzwerkdatenverkehr in einem Azure Virtual Network mit den folgenden Methoden steuern:

  • Mit Netzwerksicherheitsgruppen (NSGs) können Sie ein- und ausgehenden Datenverkehr für das Netzwerk filtern. Weitere Informationen finden Sie im Dokument Filtern des Netzwerkdatenverkehrs mit Netzwerksicherheitsgruppen.

  • Virtuelle Netzwerkgeräte (Network Virtual Appliances, NVAs) können nur mit ausgehendem Datenverkehr verwendet werden. Mit virtuellen Netzwerkgeräten wird die Funktionalität von Geräten, z. B. Firewalls und Routern, repliziert. Weitere Informationen finden Sie im Dokument Network Appliances.

Als verwalteter Dienst benötigt HDInsight uneingeschränkten Zugriff auf die HDInsight-Integritäts- und -Verwaltungsdienste für eingehenden und ausgehenden Datenverkehr aus dem VNET. Beim Verwenden von NSGs und müssen Sie sicherstellen, dass diese Dienste weiterhin mit dem HDInsight-Cluster kommunizieren können.

Diagram of HDInsight entities created in Azure custom VNET.

HDInsight mit Netzwerksicherheitsgruppen

Wenn Sie planen, Netzwerksicherheitsgruppen zum Steuern des Netzwerkdatenverkehrs zu verwenden, sollten Sie vor dem Installieren von HDInsight die folgenden Aktionen durchführen:

  1. Identifizieren Sie die Azure-Region, die Sie für HDInsight verwenden möchten.

  2. Identifizieren Sie die von HDInsight für Ihre Region benötigten Diensttags. Es gibt mehrere Möglichkeiten zum Abrufen dieser Diensttags:

    1. Konsultieren Sie die Liste der veröffentlichten Diensttags unter Diensttags von Netzwerksicherheitsgruppen für Azure HDInsight.
    2. Wenn Ihre Region nicht in der Liste enthalten ist, verwenden Sie die Ermittlungs-API für Diensttags, um ein Diensttag für Ihre Region zu finden.
    3. Wenn Sie die API nicht verwenden können, laden Sie die JSON-Datei mit Diensttags herunter, und suchen Sie nach der gewünschten Region.

  3. Erstellen oder ändern Sie die Netzwerksicherheitsgruppen für das Subnetz, in dem Sie HDInsight installieren möchten.

    • Netzwerksicherheitsgruppen: Lassen Sie eingehenden Datenverkehr über Port 443 für die IP-Adressen zu. Dadurch wird sichergestellt, dass HDInsight-Verwaltungsdienste den Cluster außerhalb des virtuellen Netzwerks erreichen können. Gestatten Sie für den Kafka REST-Proxy den eingehenden Datenverkehr auch an Port 9400. Dadurch wird sichergestellt, dass der Kafka REST-Proxyserver erreichbar ist.

Weitere Informationen zu Netzwerksicherheitsgruppen finden Sie in der Übersicht über Netzwerksicherheitsgruppen.

Steuern des ausgehenden Datenverkehrs der HDInsight-Cluster

Weitere Informationen zum Steuern des ausgehenden Datenverkehrs von HDInsight-Clustern finden Sie unter Konfigurieren von Einschränkungen des ausgehenden Netzwerkdatenverkehrs für Azure HDInsight-Cluster (Vorschau).

Tunnelerzwingung für lokale Netzwerke

Die Tunnelerzwingung ist eine benutzerdefinierte Routingkonfiguration, bei der für den gesamten Datenverkehr eines Subnetzes die Weiterleitung in ein bestimmtes Netzwerk bzw. an einen bestimmten Standort erzwungen wird, z. B. Ihr lokales Netzwerk oder Ihre Firewall. Die Tunnelerzwingung der gesamten Datenübertragung zurück zum lokalen Standort wird nicht empfohlen, da große Datenmengen übertragen werden und die Leistung beeinträchtigt werden könnte.

Kund*innen, die an der Einrichtung der Tunnelerzwingung interessiert sind, sollten benutzerdefinierte Metastores verwenden und die entsprechenden Verbindungen vom Clustersubnetz oder dem lokalen Netzwerk zu diesen benutzerdefinierten Metastores einrichten.

Ein Beispiel für die UDR-Einrichtung mit Azure Firewall finden Sie unter Konfigurieren von Einschränkungen des ausgehenden Netzwerkdatenverkehrs für Azure HDInsight-Cluster.

Erforderliche Ports

Wenn Sie eine Firewall verwenden und extern über bestimmte Ports auf den Cluster zugreifen möchten, müssen Sie möglicherweise Datenverkehr an den für Ihr Szenario erforderlichen Ports zulassen. Standardmäßig ist keine spezifische Filterung von Ports erforderlich, solange der im vorherigen Abschnitt erläuterte Azure-Verwaltungsdatenverkehr für Cluster an Port 443 zulässig ist.

Eine Liste mit Ports für bestimmte Dienste finden Sie im Dokument Ports für Apache Hadoop-Dienste in HDInsight.

Weitere Informationen zu Firewallregeln für virtuelle Geräte finden Sie im Dokument Szenario für virtuelle Geräte.

Nächste Schritte