Portar som används av Apache Hadoop-tjänster i HDInsight

Artikel
09/06/2024

Det här dokumentet innehåller en lista över de portar som används av Apache Hadoop-tjänster som körs i HDInsight-kluster. Den innehåller också information om portar som används för att ansluta till klustret med hjälp av SSH.

Offentliga portar jämfört med icke-offentliga portar

Linux-baserade HDInsight-kluster exponerar bara tre portar offentligt på Internet: 22, 23 och 443. Dessa portar skyddar klusteråtkomst med hjälp av SSH och tjänster som exponeras via det säkra HTTPS-protokollet.

HDInsight implementeras av flera Azure-Virtual Machines (klusternoder) som körs på en Azure-Virtual Network. Inifrån det virtuella nätverket kan du komma åt portar som inte exponeras via Internet. Om du ansluter via SSH till huvudnoden kan du direkt komma åt tjänster som körs på klusternoderna.

Viktigt

Om du inte anger en Azure-Virtual Network som konfigurationsalternativ för HDInsight skapas en automatiskt. Du kan dock inte ansluta andra datorer (till exempel andra Azure-Virtual Machines eller din klientutvecklingsdator) till det här virtuella nätverket.

Om du vill ansluta ytterligare datorer till det virtuella nätverket måste du först skapa det virtuella nätverket och sedan ange det när du skapar ditt HDInsight-kluster. Mer information finns i Planera ett virtuellt nätverk för HDInsight.

Offentliga portar

Alla noder i ett HDInsight-kluster finns i en Azure-Virtual Network. Noderna kan inte nås direkt från Internet. En offentlig gateway ger Internetåtkomst till följande portar, som är vanliga för alla HDInsight-klustertyper.

Tjänst	Port	Protokoll	Description
Sshd	22	SSH	Ansluter klienter till sshd på den primära huvudnoden. Mer information finns i Använda SSH med HDInsight.
Sshd	22	SSH	Ansluter klienter till sshd på gränsnoden. Mer information finns i Använda SSH med HDInsight.
Sshd	23	SSH	Ansluter klienter till sshd på den sekundära huvudnoden. Mer information finns i Använda SSH med HDInsight.
Ambari	443	HTTPS	Ambari-webbgränssnitt. Se Hantera HDInsight med apache Ambari-webbgränssnittet
Ambari	443	HTTPS	Ambari REST API. Se Hantera HDInsight med Apache Ambari REST API
WebHCat	443	HTTPS	`HCatalog` REST API. Se Använda MapReduce med Curl
HiveServer2	443	ODBC	Ansluter till Hive med ODBC. Se Ansluta Excel till HDInsight med Microsoft ODBC-drivrutinen.
HiveServer2	443	JDBC	Ansluter till ApacheHive med JDBC. Se Ansluta till Apache Hive på HDInsight med Hive JDBC-drivrutinen

Följande är tillgängliga för specifika klustertyper:

Tjänst	Port	Protokoll	Klustertyp	Description
`Stargate`	443	HTTPS	HBase	HBase REST API. Se Kom igång med Apache HBase
Livy	443	HTTPS	Spark	Spark REST API. Se Skicka Apache Spark-jobb via fjärranslutning med Apache Livy
Spark Thrift-server	443	HTTPS	Spark	Spark Thrift-server som används för att skicka Hive-frågor. Se Använda Beeline med Apache Hive i HDInsight
Kafka REST-proxy	443	HTTPS	Kafka	Kafka REST API. Se Interagera med Apache Kafka-kluster i Azure HDInsight med hjälp av en REST-proxy

Autentisering

Alla tjänster som exponeras offentligt på Internet måste autentiseras:

Port	Autentiseringsuppgifter
22 eller 23	De autentiseringsuppgifter för SSH-användare som angavs när klustret skapades
443	Inloggningsnamnet (standard: administratör) och lösenordet som angavs när klustret skapades

Icke-offentliga portar

Anteckning

Vissa tjänster är endast tillgängliga för specifika klustertyper. HBase är till exempel bara tillgängligt på HBase-klustertyper.

Viktigt

Vissa tjänster körs bara på en huvudnod i taget. Om du försöker ansluta till tjänsten på den primära huvudnoden och får ett fel försöker du igen med den sekundära huvudnoden.

Ambari

Tjänst	Noder	Port	URL-sökväg	Protokoll
Ambari-webbgränssnitt	Huvudnoder	8080	/	HTTP
Ambari REST API	Huvudnoder	8080	/api/v1	HTTP

Exempel:

Ambari REST API: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

HDFS-portar

Tjänst	Noder	Port	Protokoll	Description
NameNode-webbgränssnitt	Huvudnoder	30070	HTTPS	Webbgränssnitt för att visa status
NameNode-metadatatjänst	huvudnoder	8020	IPC	Metadata för filsystem
Datanod	Alla arbetsnoder	30075	HTTPS	Webbgränssnitt för att visa status, loggar och så vidare.
Datanod	Alla arbetsnoder	30010		Dataöverföring
Datanod	Alla arbetsnoder	30020	IPC	Metadataåtgärder
Sekundär namnnod	Huvudnoder	50090	HTTP	Kontrollpunkt för NameNode-metadata

YARN-portar

Tjänst	Noder	Port	Protokoll	Description
Resource Manager webbgränssnitt	Huvudnoder	8088	HTTP	Webbgränssnitt för Resource Manager
Resource Manager webbgränssnitt	Huvudnoder	8090	HTTPS	Webbgränssnitt för Resource Manager
Resource Manager administratörsgränssnitt	huvudnoder	8141	IPC	För programöverföringar (Hive, Hive-server, Pig och så vidare.)
Resource Manager schemaläggaren	huvudnoder	8030	HTTP	Administrativt gränssnitt
Resource Manager programgränssnitt	huvudnoder	8050	HTTP	Adress för programhanterarens gränssnitt
NodeManager	Alla arbetsnoder	30050		Adressen till containerhanteraren
NodeManager-webbgränssnitt	Alla arbetsnoder	30060	HTTP	Resource Manager-gränssnitt
Tidslinjeadress	Huvudnoder	10200	RPC	Tidslinjetjänstens RPC-tjänst.
Tidslinjens webbgränssnitt	Huvudnoder	8188	HTTP	Webbgränssnittet för tidslinjetjänsten

Hive-portar

Tjänst	Noder	Port	Protokoll	Description
HiveServer2	Huvudnoder	10001	Thrift	Tjänst för att ansluta till Hive (Thrift/JDBC)
Hive-metaarkiv	Huvudnoder	9083	Thrift	Tjänst för att ansluta till Hive-metadata (Thrift/JDBC)

WebHCat-portar

Tjänst	Noder	Port	Protokoll	Description
WebHCat-server	Huvudnoder	30111	HTTP	Webb-API ovanpå `HCatalog` och andra Hadoop-tjänster

MapReduce-portar

Tjänst	Noder	Port	Protokoll	Description
JobHistory	Huvudnoder	19888	HTTP	MapReduce JobHistory-webbgränssnitt
JobHistory	Huvudnoder	10020		MapReduce JobHistory-server
ShuffleHandler		13562		Överför mellanliggande map-utdata till begärande reducerare

Oozie

Tjänst	Noder	Port	Protokoll	Description
Oozie-server	Huvudnoder	11000	HTTP	URL för Oozie-tjänsten
Oozie-server	Huvudnoder	11001	HTTP	Port för Oozie-administratör

Ambari-mått

Tjänst	Noder	Port	Protokoll	Description
TimeLine (programhistorik)	Huvudnoder	6188	HTTP	Webbgränssnittet för TimeLine-tjänsten
TimeLine (programhistorik)	Huvudnoder	30200	RPC	Webbgränssnittet för TimeLine-tjänsten

HBase-portar

Tjänst	Noder	Port	Protokoll	Description
HMaster	Huvudnoder	16000
HMaster info Web UI	Huvudnoder	16010	HTTP	Porten för HBase Master-webbgränssnittet
Regionserver	Alla arbetsnoder	16020
Webbgränssnitt för regionserverinformation	Alla arbetsnoder	16030	HTTP	Porten för webbgränssnittet för HBase-regionservern
		2181		Porten som klienter använder för att ansluta till ZooKeeper

Kafka-portar

Tjänst	Noder	Port	Protokoll	Description
Broker	Arbetsnoder	9092	Kafka Wire Protocol	Används för klientkommunikation
	Zookeeper-noder	2181		Porten som klienter använder för att ansluta till Zookeeper
REST-proxy	Kafka-hanteringsnoder	9400	HTTPS	Kafka REST-specifikation

Spark-portar

Tjänst	Noder	Port	Protokoll	Description
Spark Thrift-servrar	Huvudnoder	10002	Thrift	Tjänst för att ansluta till Spark SQL (Thrift/JDBC)
Livy-server	Huvudnoder	8998	HTTP	Tjänst för körning av instruktioner, jobb och program
Jupyter Notebook	Huvudnoder	8001	HTTP	Jupyter Notebook webbplats