Porty používané službami Apache Hadoop ve službě HDInsight

Článek
09/06/2024

Tento dokument obsahuje seznam portů používaných službami Apache Hadoop spuštěnými v clusterech HDInsight. Poskytuje také informace o portech používaných pro připojení ke clusteru pomocí SSH.

Veřejné porty vs. neveřejné porty

Clustery HDInsight se systémem Linux zveřejňují na internetu pouze tři porty: 22, 23 a 443. Tyto porty zabezpečují přístup ke clusteru pomocí SSH a služeb vystavených přes zabezpečený protokol HTTPS.

HDInsight implementuje několik Virtual Machines Azure (uzlů clusteru) běžících na Virtual Network Azure. Z virtuální sítě můžete přistupovat k portům, které nejsou zpřístupněny přes internet. Pokud se k hlavnímu uzlu připojíte přes SSH, budete mít přímý přístup ke službám spuštěným na uzlech clusteru.

Důležité

Pokud jako možnost konfigurace pro HDInsight nezadáte azure Virtual Network, vytvoří se automaticky. K této virtuální síti ale nemůžete připojit další počítače (například jiné Virtual Machines Azure nebo počítač pro vývoj klientů).

Pokud chcete k virtuální síti připojit další počítače, musíte nejprve vytvořit virtuální síť a pak ji zadat při vytváření clusteru HDInsight. Další informace najdete v tématu Plánování virtuální sítě pro HDInsight.

Veřejné porty

Všechny uzly v clusteru HDInsight se nacházejí v azure Virtual Network. K uzlům není možné přistupovat přímo z internetu. Veřejná brána poskytuje přístup k internetu k následujícím portům, které jsou společné pro všechny typy clusterů HDInsight.

Služba	Port	Protokol	Description
Sshd	22	SSH	Připojí klienty k sshd na primárním hlavním uzlu. Další informace najdete v tématu Použití SSH se službou HDInsight.
Sshd	22	SSH	Připojí klienty k sshd na hraničním uzlu. Další informace najdete v tématu Použití SSH se službou HDInsight.
Sshd	23	SSH	Připojí klienty k sshd na sekundárním hlavním uzlu. Další informace najdete v tématu Použití SSH se službou HDInsight.
Ambari	443	HTTPS	Webové uživatelské rozhraní Ambari. Viz Správa SLUŽBY HDInsight pomocí webového uživatelského rozhraní Apache Ambari.
Ambari	443	HTTPS	Ambari REST API. Viz Správa SLUŽBY HDInsight pomocí rozhraní Apache Ambari REST API.
WebHCat	443	HTTPS	`HCatalog` REST API. Viz Použití MapReduce s Curl.
HiveServer2	443	ODBC	Připojuje se k Hivu pomocí rozhraní ODBC. Viz Připojení Excelu ke službě HDInsight pomocí ovladače Microsoft ODBC.
HiveServer2	443	JDBC	Připojí se k ApacheHive pomocí JDBC. Viz Připojení k Apache Hivu ve službě HDInsight pomocí ovladače Hive JDBC.

Pro konkrétní typy clusterů jsou k dispozici následující:

Služba	Port	Protokol	Typ clusteru	Description
`Stargate`	443	HTTPS	HBase	HBase REST API. Viz Začínáme s používáním Apache HBase.
Livy	443	HTTPS	Spark	Spark REST API. Viz Vzdálené odesílání úloh Apache Sparku pomocí Apache Livy.
Server Spark Thrift	443	HTTPS	Spark	Server Spark Thrift používaný k odesílání dotazů Hive. Viz Použití Beeline s Apache Hivem ve službě HDInsight.
Proxy REST Kafka	443	HTTPS	Kafka	Kafka REST API. Viz Interakce s clustery Apache Kafka ve službě Azure HDInsight pomocí proxy serveru REST.

Authentication

Všechny služby veřejně zveřejněné na internetu musí být ověřeny:

Port	Přihlašovací údaje
22 nebo 23	Přihlašovací údaje uživatele SSH zadané při vytváření clusteru
443	Přihlašovací jméno (výchozí: admin) a heslo nastavené při vytváření clusteru

Neveřejné porty

Poznámka

Některé služby jsou dostupné jenom u konkrétních typů clusterů. Například HBase je k dispozici pouze u typů clusterů HBase.

Důležité

Některé služby běží současně pouze na jednom hlavním uzlu. Pokud se pokusíte připojit ke službě na primárním hlavním uzlu a dojde k chybě, zkuste to znovu pomocí sekundárního hlavního uzlu.

Ambari

Služba	Uzly	Port	Cesta URL	Protokol
Webové uživatelské rozhraní Ambari	Hlavní uzly	8080	/	HTTP
Ambari REST API	Hlavní uzly	8080	/api/v1	HTTP

Příklady:

Ambari REST API: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Porty HDFS

Služba	Uzly	Port	Protokol	Description
Webové uživatelské rozhraní NameNode	Hlavní uzly	30070	HTTPS	Webové uživatelské rozhraní pro zobrazení stavu
Služba metadat NameNode	hlavní uzly	8020	IPC	Metadata systému souborů
Datový uzel	Všechny pracovní uzly	30075	HTTPS	Webové uživatelské rozhraní pro zobrazení stavu, protokolů atd.
Datový uzel	Všechny pracovní uzly	30010		Přenos dat
Datový uzel	Všechny pracovní uzly	30020	IPC	Operace s metadaty
Sekundární uzel NameNode	Hlavní uzly	50090	HTTP	Kontrolní bod pro metadata uzlu NameNode

Porty YARN

Služba	Uzly	Port	Protokol	Description
Resource Manager webové uživatelské rozhraní	Hlavní uzly	8088	HTTP	Webové uživatelské rozhraní pro Resource Manager
Resource Manager webové uživatelské rozhraní	Hlavní uzly	8090	HTTPS	Webové uživatelské rozhraní pro Resource Manager
rozhraní pro správu Resource Manager	hlavní uzly	8141	IPC	Pro odesílání aplikací (Hive, server Hive, Pig atd.)
plánovač Resource Manager	hlavní uzly	8030	HTTP	Rozhraní pro správu
Resource Manager aplikační rozhraní	hlavní uzly	8050	HTTP	Adresa rozhraní správce aplikací
NodeManager	Všechny pracovní uzly	30050		Adresa správce kontejnerů
Webové uživatelské rozhraní služby NodeManager	Všechny pracovní uzly	30060	HTTP	Resource Manager rozhraní
Adresa časové osy	Hlavní uzly	10200	RPC	Služba RPC služby Časová osa.
Webové uživatelské rozhraní časové osy	Hlavní uzly	8188	HTTP	Webové uživatelské rozhraní služby Časové osy

Porty Hivu

Služba	Uzly	Port	Protokol	Description
HiveServer2	Hlavní uzly	10001	Thrift	Služba pro připojení k Hivu (Thrift/JDBC)
Metastore Hive	Hlavní uzly	9083	Thrift	Služba pro připojení k metadatům Hivu (Thrift/JDBC)

Porty WebHCat

Služba	Uzly	Port	Protokol	Description
Server WebHCat	Hlavní uzly	30111	HTTP	Webové rozhraní API a `HCatalog` další služby Hadoop

Porty MapReduce

Služba	Uzly	Port	Protokol	Description
JobHistory	Hlavní uzly	19888	HTTP	Webové uživatelské rozhraní JobHistory MapReduce
JobHistory	Hlavní uzly	10020		MapReduce JobHistory Server
Obslužná rutina shuffleHandler		13562		Přenáší zprostředkující výstupy mapování do žádajících reduktorů.

Oozie

Služba	Uzly	Port	Protokol	Description
Server Oozie	Hlavní uzly	11000	HTTP	Adresa URL pro službu Oozie
Server Oozie	Hlavní uzly	11001	HTTP	Port pro správce Oozie

Metriky Ambari

Služba	Uzly	Port	Protokol	Description
TimeLine (historie aplikace)	Hlavní uzly	6188	HTTP	Webové uživatelské rozhraní služby TimeLine
TimeLine (historie aplikace)	Hlavní uzly	30200	RPC	Webové uživatelské rozhraní služby TimeLine

Porty HBase

Služba	Uzly	Port	Protokol	Description
HMaster	Hlavní uzly	16000
Webové uživatelské rozhraní HMaster info	Hlavní uzly	16010	HTTP	Port pro hlavní webové uživatelské rozhraní HBase
Oblastní server	Všechny pracovní uzly	16020
Webové uživatelské rozhraní informací o regionovém serveru	Všechny pracovní uzly	16030	HTTP	Port webového uživatelského rozhraní serveru oblasti HBase
		2181		Port, který klienti používají pro připojení k ZooKeeperu

Porty Kafka

Služba	Uzly	Port	Protokol	Description
Zprostředkovatel	Pracovní uzly	9092	Protokol kafka wire	Používá se ke komunikaci s klientem.
	Uzly Zookeeper	2181		Port, který klienti používají pro připojení k Zookeeperu
Proxy server REST	Uzly pro správu Kafka	9400	HTTPS	Specifikace Rest Kafka

Porty Sparku

Služba	Uzly	Port	Protokol	Description
Servery Spark Thrift	Hlavní uzly	10002	Thrift	Služba pro připojení k Spark SQL (Thrift/JDBC)
Server Livy	Hlavní uzly	8998	HTTP	Služba pro spouštění příkazů, úloh a aplikací
Jupyter Notebooks	Hlavní uzly	8001	HTTP	Jupyter Notebook web