Porte usate dai servizi Apache Hadoop su HDInsight

Articolo
09/15/2023

Questo documento fornisce un elenco delle porte usate dai servizi Apache Hadoop in esecuzione nei cluster HDInsight. Fornisce anche informazioni sulle porte usate per connettersi al cluster tramite SSH.

Porte pubbliche e porte non pubbliche

I cluster HDInsight basati su Linux espongono solo tre porte pubblicamente su Internet: 22, 23 e 443. Queste porte proteggono l'accesso al cluster usando SSH e servizi esposti tramite il protocollo HTTPS sicuro.

HDInsight viene implementato da diversi Macchine virtuali di Azure (nodi del cluster) in esecuzione in un Rete virtuale di Azure. Dall'interno della rete virtuale è possibile accedere alle porte non esposte a Internet. Se ci si connette tramite SSH al nodo head, è possibile accedere direttamente ai servizi in esecuzione nei nodi del cluster.

Importante

Se non si specifica una rete virtuale di Azure come opzione di configurazione per HDInsight, se ne crea automaticamente una. Tuttavia, non è possibile aggiungere altre macchine , ad esempio altre Macchine virtuali di Azure o il computer di sviluppo client, a questa rete virtuale.

Per aggiungere altre macchine alla rete virtuale, creare innanzitutto la rete virtuale e specificarla durante la creazione del cluster HDInsight. Per altre informazioni, vedere Pianificare una rete virtuale per HDInsight.

Porte pubbliche

Tutti i nodi in un cluster HDInsight si trovano in un Rete virtuale di Azure. I nodi non possono essere accessibili direttamente da Internet. Un gateway pubblico fornisce accesso a Internet per le porte seguenti, comuni a tutti i tipi di cluster HDInsight.

Servizio	Porta	Protocollo	Descrizione
sshd	22	SSH	Connette i client a SSHD sul nodo head primario. Per altre informazioni, vedere Usare SSH con HDInsight.
sshd	22	SSH	Connette i client a sshd sul nodo perimetrale. Per altre informazioni, vedere Usare SSH con HDInsight.
sshd	23	SSH	Connette i client a SSHD sul nodo head secondario. Per altre informazioni, vedere Usare SSH con HDInsight.
Ambari	443	HTTPS	Interfaccia utente Web Ambari Vedere Gestire i cluster HDInsight mediante l'uso dell'interfaccia utente Web Apache Ambari
Ambari	443	HTTPS	API REST Ambari Vedere Gestire i cluster HDInsight mediante l'uso dell'API REST Apache Ambari
WebHCat	443	HTTPS	`HCatalog` API REST. Vedere Usare MapReduce con Curl
HiveServer2	443	ODBC	Esegue la connessione ad Hive tramite ODBC. Vedere Connettere Excel a HDInsight mediante Microsoft Hive ODBC Driver.
HiveServer2	443	JDBC	Esegue la connessione ad Apache Hive tramite JDBC. Vedere Connettersi ad Apache Hive in Azure HDInsight con il driver Hive JDBC

Gli elementi seguenti sono disponibili per tipi di cluster specifici:

Servizio	Porta	Protocollo	Tipo di cluster	Descrizione
`Stargate`	443	HTTPS	hbase	API REST HBase Vedere Introduzione all'uso di Apache HBase
Livy	443	HTTPS	Spark	API REST Spark Vedere Inviare processi Apache Spark in remoto con Apache LIVY
Server Spark Thrift	443	HTTPS	Spark	Server Spark Thrift usato per inviare query Hive. Vedere Usare Beeline con Apache Hive in HDInsight
Proxy REST Kafka	443	HTTPS	Kafka	API REST Kafka. Vedere Interagire con i cluster Apache Kafka in Azure HDInsight usando un proxy REST

Authentication

Tutti i servizi esposti pubblicamente su Internet devono essere autenticati:

Porta	Credenziali
22 o 23	Le credenziali utente SSH specificate durante la creazione del cluster
443	Il nome di accesso (impostazione predefinita: admin) e la password impostati durante la creazione del cluster

Porte non pubbliche

Nota

Alcuni servizi sono disponibili solo su tipi di cluster specifici. Ad esempio, HBase è disponibile solo su tipi di cluster HBase.

Importante

Alcuni servizi vengono eseguiti in un solo nodo head alla volta. Se quando si tenta di connettersi al servizio nel nodo head primario viene visualizzato un errore, riprovare usando il nodo head secondario.

Ambari

Servizio	Nodi	Porta	Percorso URL	Protocollo
Interfaccia utente Web Ambari	Nodi head	8080	/	HTTP
API REST Ambari	Nodi head	8080	/api/v1	HTTP

Esempi:

API REST Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Porte HDFS

Servizio	Nodi	Porta	Protocollo	Descrizione
Interfaccia utente Web NameNode	Nodi head	30070	HTTPS	Interfaccia utente Web per visualizzare lo stato
Servizio metadati NameNode	Nodi head	8020	IPC	Metadati del file system
DataNode	Tutti i nodi di lavoro	30075	HTTPS	Interfaccia utente Web per visualizzare lo stato, i log e così via.
DataNode	Tutti i nodi di lavoro	30010		Trasferimento dati
DataNode	Tutti i nodi di lavoro	30020	IPC	Operazioni sui metadati
NameNode secondario	Nodi head	50090	HTTP	Checkpoint per i metadati NameNode

Porte YARN

Servizio	Nodi	Porta	Protocollo	Descrizione
Interfaccia utente Web di Resource Manager	Nodi head	8088	HTTP	Interfaccia utente Web per Resource Manager
Interfaccia utente Web di Resource Manager	Nodi head	8090	HTTPS	Interfaccia utente Web per Resource Manager
Interfaccia di amministrazione di Resource Manager	Nodi head	8141	IPC	Per gli invii di applicazioni (Hive, Server Hive, Pig e così via)
Utilità di pianificazione di Resource Manager	Nodi head	8030	HTTP	Interfaccia di amministrazione
Interfaccia dell'applicazione Resource Manager	Nodi head	8050	HTTP	Indirizzo dell'interfaccia di gestione delle applicazioni
NodeManager	Tutti i nodi di lavoro	30050		L'indirizzo del gestore di contenitore
Interfaccia utente Web di NodeManager	Tutti i nodi di lavoro	30060	HTTP	interfaccia Resource Manager
Indirizzo di Timeline	Nodi head	10200	RPC	Il servizio RPC del servizio Timeline.
Interfaccia utente Web di Timeline	Nodi head	8188	HTTP	L'interfaccia utente Web del servizio Timeline

Porte Hive

Servizio	Nodi	Porta	Protocollo	Descrizione
HiveServer2	Nodi head	10001	Thrift	Servizio per la connessione ad Hive (Thrift/JDBC)
Metastore Hive	Nodi head	9083	Thrift	Servizio per la connessione ai metadati Hive (Thrift/JDBC)

Porte WebHCat

Servizio	Nodi	Porta	Protocollo	Descrizione
Server WebHCat	Nodi head	30111	HTTP	API Web sopra `HCatalog` e altri servizi Hadoop

Porte MapReduce

Servizio	Nodi	Porta	Protocollo	Descrizione
JobHistory	Nodi head	19888	HTTP	Interfaccia utente Web di MapReduce JobHistory
JobHistory	Nodi head	10020		Server di MapReduce JobHistory
ShuffleHandler		13562		Trasferisce output intermedi di Map ai reducer che eseguono la richiesta

Oozie

Servizio	Nodi	Porta	Protocollo	Descrizione
Server di Oozie	Nodi head	11000	HTTP	URL per il servizio Oozie
Server di Oozie	Nodi head	11001	HTTP	Porta per l'amministrazione di Oozie

Metriche di Ambari

Servizio	Nodi	Porta	Protocollo	Descrizione
TimeLine (cronologia delle applicazioni)	Nodi head	6188	HTTP	L'interfaccia utente Web del servizio Timeline
TimeLine (cronologia delle applicazioni)	Nodi head	30200	RPC	L'interfaccia utente Web del servizio Timeline

Porte HBase

Servizio	Nodi	Porta	Protocollo	Descrizione
HMaster	Nodi head	16000
Interfaccia utente Web informativa di HMaster	Nodi head	16010	HTTP	La porta per l'interfaccia utente Web Master HBase
Server dell'area	Tutti i nodi di lavoro	16020
Interfaccia utente Web delle informazioni sul server dell'area	Tutti i nodi di lavoro	16030	HTTP	Porta per l'interfaccia utente Web del server area HBase
		2181		La porta usata dai client per connettersi a ZooKeeper

Porte Kafka

Servizio	Nodi	Porta	Protocollo	Descrizione
Gestore	Nodi di lavoro	9092	Protocollo di trasmissione Kafka	Usato per la comunicazione di client
	Nodi Zookeeper	2181		La porta usata dai client per connettersi a ZooKeeper
Proxy REST	Nodi di gestione Kafka	9400	HTTPS	Specifica REST kafka

Porte Spark

Servizio	Nodi	Porta	Protocollo	Descrizione
Server Spark Thrift	Nodi head	10002	Thrift	Servizio per la connessione a Spark SQL (Thrift/JDBC)
Server Livy	Nodi head	8998	HTTP	Servizio per l'esecuzione di istruzioni, processi e applicazioni
Jupyter Notebook	Nodi head	8001	HTTP	Jupyter Notebook sito Web