Poorten die worden gebruikt door Apache Hadoop-services in HDInsight
Dit document bevat een lijst met de poorten die worden gebruikt door Apache Hadoop-services die worden uitgevoerd op HDInsight-clusters. Het biedt ook informatie over poorten die worden gebruikt om verbinding te maken met het cluster met behulp van SSH.
Openbare poorten versus niet-openbare poorten
HDInsight-clusters op basis van Linux maken slechts drie poorten openbaar beschikbaar op internet: 22, 23 en 443. Deze poorten beveiligen clustertoegang met behulp van SSH en services die beschikbaar zijn via het beveiligde HTTPS-protocol.
HDInsight wordt geïmplementeerd door verschillende Azure Virtual Machines (clusterknooppunten) die worden uitgevoerd op een Azure-Virtual Network. Vanuit het virtuele netwerk hebt u toegang tot poorten die niet beschikbaar zijn via internet. Als u via SSH verbinding maakt met het hoofdknooppunt, hebt u rechtstreeks toegang tot services die worden uitgevoerd op de clusterknooppunten.
Belangrijk
Als u geen Azure-Virtual Network opgeeft als configuratieoptie voor HDInsight, wordt er automatisch een gemaakt. U kunt echter geen andere machines (zoals andere Azure-Virtual Machines of uw clientontwikkelingscomputer) toevoegen aan dit virtuele netwerk.
Als u extra machines wilt toevoegen aan het virtuele netwerk, moet u eerst het virtuele netwerk maken en dit vervolgens opgeven bij het maken van uw HDInsight-cluster. Zie Een virtueel netwerk plannen voor HDInsight voor meer informatie.
Openbare poorten
Alle knooppunten in een HDInsight-cluster bevinden zich in een Azure-Virtual Network. De knooppunten zijn niet rechtstreeks toegankelijk via internet. Een openbare gateway biedt internettoegang tot de volgende poorten, die gemeenschappelijk zijn voor alle HDInsight-clustertypen.
| Service | Poort | Protocol | Description |
|---|---|---|---|
| Sshd | 22 | SSH | Hiermee worden clients verbonden met sshd op het primaire hoofdknooppunt. Zie SSH gebruiken met HDInsight voor meer informatie. |
| Sshd | 22 | SSH | Hiermee worden clients verbonden met sshd op het edge-knooppunt. Zie SSH gebruiken met HDInsight voor meer informatie. |
| Sshd | 23 | SSH | Hiermee worden clients verbonden met sshd op het secundaire hoofdknooppunt. Zie SSH gebruiken met HDInsight voor meer informatie. |
| Ambari | 443 | HTTPS | Ambari-webinterface. Zie HDInsight beheren met behulp van de Apache Ambari-webinterface |
| Ambari | 443 | HTTPS | Ambari REST API. Zie HDInsight beheren met de Apache Ambari REST API |
| WebHCat | 443 | HTTPS |
HCatalog REST API. Zie MapReduce gebruiken met Curl |
| HiveServer2 | 443 | ODBC | Maakt verbinding met Hive met behulp van ODBC. Zie Excel verbinden met HDInsight met het Microsoft ODBC-stuurprogramma. |
| HiveServer2 | 443 | JDBC | Maakt verbinding met ApacheHive met behulp van JDBC. Zie Verbinding maken met Apache Hive in HDInsight met behulp van het Hive JDBC-stuurprogramma |
De volgende zijn beschikbaar voor specifieke clustertypen:
| Service | Poort | Protocol | Clustertype | Beschrijving |
|---|---|---|---|---|
Stargate |
443 | HTTPS | HBase | HBase REST API. Zie Aan de slag met Apache HBase |
| Livy | 443 | HTTPS | Spark | Spark REST API. Zie Apache Spark-taken op afstand verzenden met Apache Livy |
| Spark Thrift-server | 443 | HTTPS | Spark | Spark Thrift-server die wordt gebruikt voor het verzenden van Hive-query's. Zie Beeline gebruiken met Apache Hive in HDInsight |
| Kafka REST-proxy | 443 | HTTPS | Kafka | Kafka REST API. Zie Interactie met Apache Kafka-clusters in Azure HDInsight met behulp van een REST-proxy |
Verificatie
Alle services die openbaar beschikbaar zijn op internet, moeten worden geverifieerd:
| Poort | Referenties |
|---|---|
| 22 of 23 | De SSH-gebruikersreferenties die zijn opgegeven tijdens het maken van het cluster |
| 443 | De aanmeldingsnaam (standaard: beheerder) en het wachtwoord die zijn ingesteld tijdens het maken van het cluster |
Niet-openbare poorten
Notitie
Sommige services zijn alleen beschikbaar op specifieke clustertypen. HBase is bijvoorbeeld alleen beschikbaar voor HBase-clustertypen.
Belangrijk
Sommige services worden slechts op één hoofdknooppunt tegelijk uitgevoerd. Als u verbinding probeert te maken met de service op het primaire hoofdknooppunt en een foutmelding krijgt, probeert u het opnieuw met behulp van het secundaire hoofdknooppunt.
Ambari
| Service | Knooppunten | Poort | URL-pad | Protocol |
|---|---|---|---|---|
| Ambari-webinterface | Hoofdknooppunten | 8080 | / | HTTP |
| Ambari REST API | Hoofdknooppunten | 8080 | /api/v1 | HTTP |
Voorbeelden:
- Ambari REST API:
curl -u admin "http://10.0.0.11:8080/api/v1/clusters"
HDFS-poorten
| Service | Knooppunten | Poort | Protocol | Description |
|---|---|---|---|---|
| NameNode-webgebruikersinterface | Hoofdknooppunten | 30070 | HTTPS | Webgebruikersinterface voor het weergeven van de status |
| NameNode-metagegevensservice | hoofdknooppunten | 8020 | IPC | Metagegevens van bestandssysteem |
| DataNode | Alle werkknooppunten | 30075 | HTTPS | Webgebruikersinterface voor het weergeven van statussen, logboeken, enzovoort. |
| DataNode | Alle werkknooppunten | 30010 | Gegevensoverdracht | |
| DataNode | Alle werkknooppunten | 30020 | IPC | Metagegevensbewerkingen |
| Secundaire NameNode | Hoofdknooppunten | 50090 | HTTP | Controlepunt voor NameNode-metagegevens |
YARN-poorten
| Service | Knooppunten | Poort | Protocol | Description |
|---|---|---|---|---|
| Resource Manager webinterface | Hoofdknooppunten | 8088 | HTTP | Webgebruikersinterface voor Resource Manager |
| Resource Manager webinterface | Hoofdknooppunten | 8090 | HTTPS | Webgebruikersinterface voor Resource Manager |
| Resource Manager-beheerinterface | hoofdknooppunten | 8141 | IPC | Voor het indienen van toepassingen (Hive, Hive-server, Pig, enzovoort).) |
| Resource Manager scheduler | hoofdknooppunten | 8030 | HTTP | Beheerinterface |
| Resource Manager toepassingsinterface | hoofdknooppunten | 8050 | HTTP | Adres van de interface van toepassingsbeheer |
| NodeManager | Alle werkknooppunten | 30050 | Het adres van de containerbeheerder | |
| NodeManager-webinterface | Alle werkknooppunten | 30060 | HTTP | Resource Manager interface |
| Tijdlijnadres | Hoofdknooppunten | 10200 | RPC | De Tijdlijn-service RPC-service. |
| Tijdlijn-webgebruikersinterface | Hoofdknooppunten | 8188 | HTTP | De webgebruikersinterface van de Tijdlijn-service |
Hive-poorten
| Service | Knooppunten | Poort | Protocol | Description |
|---|---|---|---|---|
| HiveServer2 | Hoofdknooppunten | 10001 | Thrift | Service voor het maken van verbinding met Hive (Thrift/JDBC) |
| Hive-metastore | Hoofdknooppunten | 9083 | Thrift | Service voor het maken van verbinding met Hive-metagegevens (Thrift/JDBC) |
WebHCat-poorten
| Service | Knooppunten | Poort | Protocol | Description |
|---|---|---|---|---|
| WebHCat-server | Hoofdknooppunten | 30111 | HTTP | Web-API boven HCatalog op en andere Hadoop-services |
MapReduce-poorten
| Service | Knooppunten | Poort | Protocol | Description |
|---|---|---|---|---|
| JobHistory | Hoofdknooppunten | 19888 | HTTP | MapReduce JobHistory-webinterface |
| JobHistory | Hoofdknooppunten | 10020 | MapReduce JobHistory-server | |
| ShuffleHandler | 13562 | Overdrachten van tussenliggende toewijzingsuitvoer naar aanvragende reducers |
Oozie
| Service | Knooppunten | Poort | Protocol | Description |
|---|---|---|---|---|
| Oozie-server | Hoofdknooppunten | 11000 | HTTP | URL voor Oozie-service |
| Oozie-server | Hoofdknooppunten | 11001 | HTTP | Poort voor Oozie-beheerder |
Metrische gegevens van Ambari
| Service | Knooppunten | Poort | Protocol | Description |
|---|---|---|---|---|
| TimeLine (toepassingsgeschiedenis) | Hoofdknooppunten | 6188 | HTTP | De webinterface van de TimeLine-service |
| TimeLine (toepassingsgeschiedenis) | Hoofdknooppunten | 30200 | RPC | De webinterface van de TimeLine-service |
HBase-poorten
| Service | Knooppunten | Poort | Protocol | Description |
|---|---|---|---|---|
| HMaster | Hoofdknooppunten | 16000 | ||
| HMaster info Web UI | Hoofdknooppunten | 16010 | HTTP | De poort voor de HBase Master-webinterface |
| Regioserver | Alle werkknooppunten | 16020 | ||
| Webinterface met informatie over regioserver | Alle werkknooppunten | 16030 | HTTP | De poort voor de webgebruikersinterface van de HBase Region-server |
| 2181 | De poort die clients gebruiken om verbinding te maken met ZooKeeper |
Kafka-poorten
| Service | Knooppunten | Poort | Protocol | Description |
|---|---|---|---|---|
| Broker | Werkknooppunten | 9092 | Kafka Wire Protocol | Wordt gebruikt voor clientcommunicatie |
| Zookeeper-knooppunten | 2181 | De poort die clients gebruiken om verbinding te maken met Zookeeper | ||
| REST-proxy | Kafka-beheerknooppunten | 9400 | HTTPS | Kafka REST-specificatie |
Spark-poorten
| Service | Knooppunten | Poort | Protocol | URL-pad | Description |
|---|---|---|---|---|---|
| Spark Thrift-servers | Hoofdknooppunten | 10002 | Thrift | Service voor het maken van verbinding met Spark SQL (Thrift/JDBC) | |
| Livy-server | Hoofdknooppunten | 8998 | HTTP | Service voor het uitvoeren van instructies, taken en toepassingen | |
| Jupyter Notebook | Hoofdknooppunten | 8001 | HTTP | Jupyter Notebook website |
Voorbeelden:
- Livy:
curl -u admin -G "http://10.0.0.11:8998/". In dit voorbeeld10.0.0.11is het IP-adres van het hoofdknooppunt dat als host fungeert voor de Livy-service.