Ports für Apache Hadoop-Dienste in HDInsight
Dieses Dokument enthält eine Liste mit den Ports für Apache Hadoop-Dienste, die in HDInsight-Clustern ausgeführt werden. Außerdem enthält es Informationen zu Ports, die zum Herstellen einer Verbindung mit dem Cluster per SSH verwendet werden.
Öffentliche Ports im Vergleich mit nicht öffentlichen Ports
Für Linux-basierte HDInsight-Cluster werden nur drei Ports im Internet öffentlich verfügbar gemacht: 22, 23 und 443. Diese Ports sichern den Clusterzugriff mithilfe von SSH und Diensten, die über das sichere HTTPS-Protokoll verfügbar gemacht werden.
HDInsight wird von mehreren Azure Virtual Machines (Clusterknoten) implementiert, die in einem Azure Virtual Network ausgeführt werden. Aus dem virtuellen Netzwerk können Sie auf Ports zugreifen, die nicht über das Internet verfügbar gemacht werden. Wenn Sie über SSH eine Verbindung mit dem Hauptknoten herstellen, können Sie auf Dienste, die auf den Clusterknoten ausgeführt werden, direkt zugreifen.
Wichtig
Wenn Sie kein virtuelles Azure-Netzwerk als eine Konfigurationsoption für HDInsight angeben, wird automatisch eines erstellt. Sie können in dieses virtuelle Netzwerk aber keine anderen Computer (z. B. virtuelle Azure-Computer oder Ihren Cliententwicklungscomputer) einbinden.
Um für weitere Computer den Beitritt zum virtuellen Netzwerk durchzuführen, müssen Sie zuerst das virtuelle Netzwerk erstellen und beim Erstellen des HDInsight-Clusters dann angeben. Weitere Informationen finden Sie unter Planen eines virtuellen Netzwerks für HDInsight.
Öffentliche Ports
Alle Knoten in einem HDInsight-Cluster befinden sich in einem Azure Virtual Network. Auf die Knoten kann aus dem Internet nicht direkt zugegriffen werden. Ein öffentliches Gateway ermöglicht den Internetzugriff auf die folgenden Ports, die für alle HDInsight-Clustertypen gleich sind:
| Dienst | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|
| sshd | 22 | SSH | Stellt eine Verbindung zwischen Clients und SSHD auf dem primären Hauptknoten her. Weitere Informationen finden Sie unter Verwenden von SSH mit Linux-basiertem Hadoop in HDInsight unter Linux, Unix oder OS X. |
| sshd | 22 | SSH | Verbindet Clients mit sshd auf dem Edgeknoten. Weitere Informationen finden Sie unter Verwenden von SSH mit Linux-basiertem Hadoop in HDInsight unter Linux, Unix oder OS X. |
| sshd | 23 | SSH | Stellt eine Verbindung zwischen Clients und SSHD auf dem sekundären Hauptknoten her. Weitere Informationen finden Sie unter Verwenden von SSH mit Linux-basiertem Hadoop in HDInsight unter Linux, Unix oder OS X. |
| Ambari | 443 | HTTPS | Ambari-Webbenutzeroberfläche. Siehe Verwalten von HDInsight mithilfe der Apache Ambari-Webbenutzeroberfläche |
| Ambari | 443 | HTTPS | Ambari-REST-API. Siehe Verwalten von HDInsight mithilfe der Apache Ambari-REST-API |
| WebHCat | 443 | HTTPS |
HCatalogREST-API. Weitere Informationen finden Sie unter Verwenden von MapReduce mit Curl. |
| HiveServer2 | 443 | ODBC | Stellt per ODBC ein Verbindung mit Hive her. Siehe Verbinden von Excel mit HDInsight mithilfe des Microsoft ODBC-Treibers. |
| HiveServer2 | 443 | JDBC | Stellt per JDBC ein Verbindung mit Apache Hive her. Siehe Herstellen einer Verbindung mit Apache Hive unter HDInsight per Hive-JDBC-Treiber |
Für spezielle Clustertypen ist Folgendes verfügbar:
| Dienst | Port | Protocol | Clustertyp | BESCHREIBUNG |
|---|---|---|---|---|
Stargate |
443 | HTTPS | hbase | HBase-REST-API. Siehe Erste Schritte mit Apache HBase |
| Livy | 443 | HTTPS | Spark | Spark-REST-API. Siehe Remoteübermittlung von Apache Spark-Aufträgen mit Apache Livy |
| Spark Thrift-Server | 443 | HTTPS | Spark | Zum Übermitteln von Hive-Abfragen verwendeter Spark Thrift-Server. Siehe Verwenden von Beeline mit Apache Hive in HDInsight |
| Kafka-REST-Proxy | 443 | HTTPS | Kafka | Kafka-REST-API. Weitere Informationen finden Sie unter Interagieren mit Apache Kafka-Clustern in Azure HDInsight mithilfe eines REST-Proxys. |
Authentifizierung
Alle Dienste, die im Internet öffentlich verfügbar gemacht werden, müssen authentifiziert werden:
| Port | Anmeldeinformationen |
|---|---|
| 22 oder 23 | SSH-Benutzeranmeldeinformationen, die während der Clustererstellung angegeben werden |
| 443 | Anmeldename (Standard: admin) und Kennwort, die während der Clustererstellung angegeben werden |
Nicht öffentliche Ports
Hinweis
Einige Dienste stehen nur bei bestimmten Clustertypen zur Verfügung. HBase beispielsweise ist nur bei HBase-Clustertypen verfügbar.
Wichtig
Einige Dienste werden nur auf einem Hauptknoten gleichzeitig ausgeführt. Wenn Sie versuchen, auf dem primären Hauptknoten eine Verbindung mit dem Dienst herzustellen und einen Fehler erhalten, versuchen Sie es mit dem sekundären Hauptknoten erneut.
Ambari
| Dienst | Nodes | Port | URL-Pfad | Protocol |
|---|---|---|---|---|
| Ambari-Webbenutzeroberfläche | Hauptknoten | 8080 | / | HTTP |
| Ambari-REST-API | Hauptknoten | 8080 | /api/v1 | HTTP |
Beispiele:
- Ambari-REST-API:
curl -u admin "http://10.0.0.11:8080/api/v1/clusters"
HDFS-Ports
| Dienst | Nodes | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|---|
| NameNode-Webbenutzeroberfläche | Hauptknoten | 30070 | HTTPS | Webbenutzeroberfläche zum Anzeigen des Status |
| NameNode-Metadatendienst | Hauptknoten | 8020 | IPC | Dateisystem-Metadaten |
| DataNode | Alle Workerknoten | 30075 | HTTPS | Webbenutzeroberfläche zum Anzeigen von Status, Protokollen und so weiter. |
| DataNode | Alle Workerknoten | 30010 | Datenübertragung | |
| DataNode | Alle Workerknoten | 30020 | IPC | Metadatenvorgänge |
| Sekundärer NameNode | Hauptknoten | 50090 | HTTP | Prüfpunkt für NameNode-Metadaten |
YARN-Ports
| Dienst | Nodes | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|---|
| Resource Manager-Webbenutzeroberfläche | Hauptknoten | 8088 | HTTP | Webbenutzeroberfläche für Resource Manager |
| Resource Manager-Webbenutzeroberfläche | Hauptknoten | 8090 | HTTPS | Webbenutzeroberfläche für Resource Manager |
| Resource Manager-Administratoroberfläche | Hauptknoten | 8141 | IPC | Für Anwendungsübermittlungen (Hive, Hive-Server, Pig und so weiter) |
| Resource Manager-Planer | Hauptknoten | 8030 | HTTP | Administratoroberfläche |
| Resource Manager-Anwendungsschnittstelle | Hauptknoten | 8050 | HTTP | Adresse der Anwendungs-Manager-Schnittstelle |
| NodeManager | Alle Workerknoten | 30050 | Adresse des Container-Managers | |
| NodeManager-Webbenutzeroberfläche | Alle Workerknoten | 30060 | HTTP | Resource Manager-Schnittstelle |
| Zeitachsenadresse | Hauptknoten | 10200 | RPC | RPC-Dienst des Zeitachsendiensts |
| Zeitachsen-Webbenutzeroberfläche | Hauptknoten | 8188 | HTTP | Webbenutzeroberfläche des Zeitachsendiensts |
Hive-Ports
| Dienst | Nodes | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|---|
| HiveServer2 | Hauptknoten | 10001 | Thrift | Dienst für die Verbindung mit Hive (Thrift/JDBC) |
| Hive-Metastore | Hauptknoten | 9083 | Thrift | Dienst für die Verbindung mit Hive-Metadaten (Thrift/JDBC) |
WebHCat-Ports
| Dienst | Nodes | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|---|
| WebHCat-Server | Hauptknoten | 30111 | HTTP | Web-API zusätzlich zu HCatalog und anderen Hadoop-Diensten |
MapReduce-Ports
| Dienst | Nodes | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|---|
| JobHistory | Hauptknoten | 19888 | HTTP | MapReduce JobHistory-Webbenutzeroberfläche |
| JobHistory | Hauptknoten | 10020 | MapReduce JobHistory-Server | |
| ShuffleHandler | 13562 | Überträgt Map-Zwischenausgaben an anfordernde Reducer |
Oozie
| Dienst | Nodes | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|---|
| Oozie-Server | Hauptknoten | 11000 | HTTP | URL für Oozie-Dienst |
| Oozie-Server | Hauptknoten | 11001 | HTTP | Port für Oozie-Verwaltung |
Ambari-Metriken
| Dienst | Nodes | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|---|
| TimeLine (Anwendungsverlauf) | Hauptknoten | 6188 | HTTP | Webbenutzeroberfläche des Zeitachsendiensts |
| TimeLine (Anwendungsverlauf) | Hauptknoten | 30200 | RPC | Webbenutzeroberfläche des Zeitachsendiensts |
HBase-Ports
| Dienst | Nodes | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|---|
| HMaster | Hauptknoten | 16000 | ||
| HMaster-Info-Webbenutzeroberfläche | Hauptknoten | 16010 | HTTP | Port für die HBase-Master-Webbenutzeroberfläche |
| Regionsserver | Alle Workerknoten | 16020 | ||
| Webbenutzeroberfläche für Informationen zum Regionsserver | Alle Workerknoten | 16030 | HTTP | Der Port für die Webbenutzeroberfläche des HBase-Regionsservers |
| 2181 | Port, der von Clients für die Verbindungsherstellung mit ZooKeeper verwendet wird |
Kafka-Ports
| Dienst | Nodes | Port | Protocol | BESCHREIBUNG |
|---|---|---|---|---|
| Broker | Workerknoten | 9092 | Kafka Wire Protocol | Für die Clientkommunikation |
| Zookeeper-Knoten | 2181 | Port, der von Clients für die Verbindungsherstellung mit ZooKeeper verwendet wird | ||
| REST-Proxy | Kafka-Verwaltungsknoten | 9400 | HTTPS | Kafka-REST-Spezifikation |
Spark-Ports
| Dienst | Nodes | Port | Protocol | URL-Pfad | BESCHREIBUNG |
|---|---|---|---|---|---|
| Spark Thrift-Server | Hauptknoten | 10002 | Thrift | Dienst für die Verbindung mit Spark SQL (Thrift/JDBC) | |
| Livy-Server | Hauptknoten | 8998 | HTTP | Dienst für die Ausführung von Anweisungen, Aufträgen und Anwendungen | |
| Jupyter Notebook | Hauptknoten | 8001 | HTTP | Jupyter Notebook-Website |
Beispiele:
- Livy:
curl -u admin -G "http://10.0.0.11:8998/". In diesem Beispiel ist10.0.0.11die IP-Adresse des Hauptknotens, der den Livy-Dienst hostet.