Condividi tramite


Porte usate dai servizi Apache Hadoop su HDInsight

Questo documento fornisce un elenco delle porte usate dai servizi Apache Hadoop in esecuzione nei cluster HDInsight. Fornisce anche informazioni sulle porte usate per connettersi al cluster tramite SSH.

Porte pubbliche e porte non pubbliche

I cluster HDInsight basati su Linux espongono solo tre porte pubblicamente su Internet: 22, 23 e 443. Queste porte proteggono l'accesso al cluster usando SSH e servizi esposti tramite il protocollo HTTPS sicuro.

HDInsight viene implementato da diversi Macchine virtuali di Azure (nodi del cluster) in esecuzione in un Rete virtuale di Azure. Dall'interno della rete virtuale è possibile accedere alle porte non esposte a Internet. Se ci si connette tramite SSH al nodo head, è possibile accedere direttamente ai servizi in esecuzione nei nodi del cluster.

Importante

Se non si specifica una rete virtuale di Azure come opzione di configurazione per HDInsight, se ne crea automaticamente una. Tuttavia, non è possibile aggiungere altre macchine , ad esempio altre Macchine virtuali di Azure o il computer di sviluppo client, a questa rete virtuale.

Per aggiungere altre macchine alla rete virtuale, creare innanzitutto la rete virtuale e specificarla durante la creazione del cluster HDInsight. Per altre informazioni, vedere Pianificare una rete virtuale per HDInsight.

Porte pubbliche

Tutti i nodi in un cluster HDInsight si trovano in un Rete virtuale di Azure. I nodi non possono essere accessibili direttamente da Internet. Un gateway pubblico fornisce accesso a Internet per le porte seguenti, comuni a tutti i tipi di cluster HDInsight.

Servizio Porta Protocollo Descrizione
sshd 22 SSH Connette i client a SSHD sul nodo head primario. Per altre informazioni, vedere Usare SSH con HDInsight.
sshd 22 SSH Connette i client a sshd sul nodo perimetrale. Per altre informazioni, vedere Usare SSH con HDInsight.
sshd 23 SSH Connette i client a SSHD sul nodo head secondario. Per altre informazioni, vedere Usare SSH con HDInsight.
Ambari 443 HTTPS Interfaccia utente Web Ambari Vedere Gestire i cluster HDInsight mediante l'uso dell'interfaccia utente Web Apache Ambari
Ambari 443 HTTPS API REST Ambari Vedere Gestire i cluster HDInsight mediante l'uso dell'API REST Apache Ambari
WebHCat 443 HTTPS HCatalog API REST. Vedere Usare MapReduce con Curl
HiveServer2 443 ODBC Esegue la connessione ad Hive tramite ODBC. Vedere Connettere Excel a HDInsight mediante Microsoft Hive ODBC Driver.
HiveServer2 443 JDBC Esegue la connessione ad Apache Hive tramite JDBC. Vedere Connettersi ad Apache Hive in Azure HDInsight con il driver Hive JDBC

Gli elementi seguenti sono disponibili per tipi di cluster specifici:

Servizio Porta Protocollo Tipo di cluster Descrizione
Stargate 443 HTTPS hbase API REST HBase Vedere Introduzione all'uso di Apache HBase
Livy 443 HTTPS Spark API REST Spark Vedere Inviare processi Apache Spark in remoto con Apache LIVY
Server Spark Thrift 443 HTTPS Spark Server Spark Thrift usato per inviare query Hive. Vedere Usare Beeline con Apache Hive in HDInsight
Proxy REST Kafka 443 HTTPS Kafka API REST Kafka. Vedere Interagire con i cluster Apache Kafka in Azure HDInsight usando un proxy REST

Authentication

Tutti i servizi esposti pubblicamente su Internet devono essere autenticati:

Porta Credenziali
22 o 23 Le credenziali utente SSH specificate durante la creazione del cluster
443 Il nome di accesso (impostazione predefinita: admin) e la password impostati durante la creazione del cluster

Porte non pubbliche

Nota

Alcuni servizi sono disponibili solo su tipi di cluster specifici. Ad esempio, HBase è disponibile solo su tipi di cluster HBase.

Importante

Alcuni servizi vengono eseguiti in un solo nodo head alla volta. Se quando si tenta di connettersi al servizio nel nodo head primario viene visualizzato un errore, riprovare usando il nodo head secondario.

Ambari

Servizio Nodi Porta Percorso URL Protocollo
Interfaccia utente Web Ambari Nodi head 8080 / HTTP
API REST Ambari Nodi head 8080 /api/v1 HTTP

Esempi:

  • API REST Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Porte HDFS

Servizio Nodi Porta Protocollo Descrizione
Interfaccia utente Web NameNode Nodi head 30070 HTTPS Interfaccia utente Web per visualizzare lo stato
Servizio metadati NameNode Nodi head 8020 IPC Metadati del file system
DataNode Tutti i nodi di lavoro 30075 HTTPS Interfaccia utente Web per visualizzare lo stato, i log e così via.
DataNode Tutti i nodi di lavoro 30010   Trasferimento dati
DataNode Tutti i nodi di lavoro 30020 IPC Operazioni sui metadati
NameNode secondario Nodi head 50090 HTTP Checkpoint per i metadati NameNode

Porte YARN

Servizio Nodi Porta Protocollo Descrizione
Interfaccia utente Web di Resource Manager Nodi head 8088 HTTP Interfaccia utente Web per Resource Manager
Interfaccia utente Web di Resource Manager Nodi head 8090 HTTPS Interfaccia utente Web per Resource Manager
Interfaccia di amministrazione di Resource Manager Nodi head 8141 IPC Per gli invii di applicazioni (Hive, Server Hive, Pig e così via)
Utilità di pianificazione di Resource Manager Nodi head 8030 HTTP Interfaccia di amministrazione
Interfaccia dell'applicazione Resource Manager Nodi head 8050 HTTP Indirizzo dell'interfaccia di gestione delle applicazioni
NodeManager Tutti i nodi di lavoro 30050   L'indirizzo del gestore di contenitore
Interfaccia utente Web di NodeManager Tutti i nodi di lavoro 30060 HTTP interfaccia Resource Manager
Indirizzo di Timeline Nodi head 10200 RPC Il servizio RPC del servizio Timeline.
Interfaccia utente Web di Timeline Nodi head 8188 HTTP L'interfaccia utente Web del servizio Timeline

Porte Hive

Servizio Nodi Porta Protocollo Descrizione
HiveServer2 Nodi head 10001 Thrift Servizio per la connessione ad Hive (Thrift/JDBC)
Metastore Hive Nodi head 9083 Thrift Servizio per la connessione ai metadati Hive (Thrift/JDBC)

Porte WebHCat

Servizio Nodi Porta Protocollo Descrizione
Server WebHCat Nodi head 30111 HTTP API Web sopra HCatalog e altri servizi Hadoop

Porte MapReduce

Servizio Nodi Porta Protocollo Descrizione
JobHistory Nodi head 19888 HTTP Interfaccia utente Web di MapReduce JobHistory
JobHistory Nodi head 10020   Server di MapReduce JobHistory
ShuffleHandler   13562   Trasferisce output intermedi di Map ai reducer che eseguono la richiesta

Oozie

Servizio Nodi Porta Protocollo Descrizione
Server di Oozie Nodi head 11000 HTTP URL per il servizio Oozie
Server di Oozie Nodi head 11001 HTTP Porta per l'amministrazione di Oozie

Metriche di Ambari

Servizio Nodi Porta Protocollo Descrizione
TimeLine (cronologia delle applicazioni) Nodi head 6188 HTTP L'interfaccia utente Web del servizio Timeline
TimeLine (cronologia delle applicazioni) Nodi head 30200 RPC L'interfaccia utente Web del servizio Timeline

Porte HBase

Servizio Nodi Porta Protocollo Descrizione
HMaster Nodi head 16000    
Interfaccia utente Web informativa di HMaster Nodi head 16010 HTTP La porta per l'interfaccia utente Web Master HBase
Server dell'area Tutti i nodi di lavoro 16020  
Interfaccia utente Web delle informazioni sul server dell'area  Tutti i nodi di lavoro 16030 HTTP Porta per l'interfaccia utente Web del server area HBase
2181 La porta usata dai client per connettersi a ZooKeeper

Porte Kafka

Servizio Nodi Porta Protocollo Descrizione
Gestore Nodi di lavoro 9092 Protocollo di trasmissione Kafka Usato per la comunicazione di client
  Nodi Zookeeper 2181   La porta usata dai client per connettersi a ZooKeeper
Proxy REST Nodi di gestione Kafka 9400 HTTPS Specifica REST kafka

Porte Spark

Servizio Nodi Porta Protocollo Percorso URL Descrizione
Server Spark Thrift Nodi head 10002 Thrift   Servizio per la connessione a Spark SQL (Thrift/JDBC)
Server Livy Nodi head 8998 HTTP   Servizio per l'esecuzione di istruzioni, processi e applicazioni
Jupyter Notebook Nodi head 8001 HTTP   Jupyter Notebook sito Web

Esempi:

  • Livy: curl -u admin -G "http://10.0.0.11:8998/". In questo esempio, 10.0.0.11 è l'indirizzo IP del nodo head che ospita il servizio Livy.