Sdílet prostřednictvím


Porty používané službami Apache Hadoop ve službě HDInsight

Tento dokument obsahuje seznam portů používaných službami Apache Hadoop spuštěnými v clusterech HDInsight. Poskytuje také informace o portech používaných pro připojení ke clusteru pomocí SSH.

Veřejné porty vs. neveřejné porty

Clustery HDInsight se systémem Linux zveřejňují na internetu pouze tři porty: 22, 23 a 443. Tyto porty zabezpečují přístup ke clusteru pomocí SSH a služeb vystavených přes zabezpečený protokol HTTPS.

HDInsight implementuje několik Virtual Machines Azure (uzlů clusteru) běžících na Virtual Network Azure. Z virtuální sítě můžete přistupovat k portům, které nejsou zpřístupněny přes internet. Pokud se k hlavnímu uzlu připojíte přes SSH, budete mít přímý přístup ke službám spuštěným na uzlech clusteru.

Důležité

Pokud jako možnost konfigurace pro HDInsight nezadáte azure Virtual Network, vytvoří se automaticky. K této virtuální síti ale nemůžete připojit další počítače (například jiné Virtual Machines Azure nebo počítač pro vývoj klientů).

Pokud chcete k virtuální síti připojit další počítače, musíte nejprve vytvořit virtuální síť a pak ji zadat při vytváření clusteru HDInsight. Další informace najdete v tématu Plánování virtuální sítě pro HDInsight.

Veřejné porty

Všechny uzly v clusteru HDInsight se nacházejí v azure Virtual Network. K uzlům není možné přistupovat přímo z internetu. Veřejná brána poskytuje přístup k internetu k následujícím portům, které jsou společné pro všechny typy clusterů HDInsight.

Služba Port Protokol Description
Sshd 22 SSH Připojí klienty k sshd na primárním hlavním uzlu. Další informace najdete v tématu Použití SSH se službou HDInsight.
Sshd 22 SSH Připojí klienty k sshd na hraničním uzlu. Další informace najdete v tématu Použití SSH se službou HDInsight.
Sshd 23 SSH Připojí klienty k sshd na sekundárním hlavním uzlu. Další informace najdete v tématu Použití SSH se službou HDInsight.
Ambari 443 HTTPS Webové uživatelské rozhraní Ambari. Viz Správa SLUŽBY HDInsight pomocí webového uživatelského rozhraní Apache Ambari.
Ambari 443 HTTPS Ambari REST API. Viz Správa SLUŽBY HDInsight pomocí rozhraní Apache Ambari REST API.
WebHCat 443 HTTPS HCatalog REST API. Viz Použití MapReduce s Curl.
HiveServer2 443 ODBC Připojuje se k Hivu pomocí rozhraní ODBC. Viz Připojení Excelu ke službě HDInsight pomocí ovladače Microsoft ODBC.
HiveServer2 443 JDBC Připojí se k ApacheHive pomocí JDBC. Viz Připojení k Apache Hivu ve službě HDInsight pomocí ovladače Hive JDBC.

Pro konkrétní typy clusterů jsou k dispozici následující:

Služba Port Protokol Typ clusteru Description
Stargate 443 HTTPS HBase HBase REST API. Viz Začínáme s používáním Apache HBase.
Livy 443 HTTPS Spark Spark REST API. Viz Vzdálené odesílání úloh Apache Sparku pomocí Apache Livy.
Server Spark Thrift 443 HTTPS Spark Server Spark Thrift používaný k odesílání dotazů Hive. Viz Použití Beeline s Apache Hivem ve službě HDInsight.
Proxy REST Kafka 443 HTTPS Kafka Kafka REST API. Viz Interakce s clustery Apache Kafka ve službě Azure HDInsight pomocí proxy serveru REST.

Authentication

Všechny služby veřejně zveřejněné na internetu musí být ověřeny:

Port Přihlašovací údaje
22 nebo 23 Přihlašovací údaje uživatele SSH zadané při vytváření clusteru
443 Přihlašovací jméno (výchozí: admin) a heslo nastavené při vytváření clusteru

Neveřejné porty

Poznámka

Některé služby jsou dostupné jenom u konkrétních typů clusterů. Například HBase je k dispozici pouze u typů clusterů HBase.

Důležité

Některé služby běží současně pouze na jednom hlavním uzlu. Pokud se pokusíte připojit ke službě na primárním hlavním uzlu a dojde k chybě, zkuste to znovu pomocí sekundárního hlavního uzlu.

Ambari

Služba Uzly Port Cesta URL Protokol
Webové uživatelské rozhraní Ambari Hlavní uzly 8080 / HTTP
Ambari REST API Hlavní uzly 8080 /api/v1 HTTP

Příklady:

  • Ambari REST API: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Porty HDFS

Služba Uzly Port Protokol Description
Webové uživatelské rozhraní NameNode Hlavní uzly 30070 HTTPS Webové uživatelské rozhraní pro zobrazení stavu
Služba metadat NameNode hlavní uzly 8020 IPC Metadata systému souborů
Datový uzel Všechny pracovní uzly 30075 HTTPS Webové uživatelské rozhraní pro zobrazení stavu, protokolů atd.
Datový uzel Všechny pracovní uzly 30010   Přenos dat
Datový uzel Všechny pracovní uzly 30020 IPC Operace s metadaty
Sekundární uzel NameNode Hlavní uzly 50090 HTTP Kontrolní bod pro metadata uzlu NameNode

Porty YARN

Služba Uzly Port Protokol Description
Resource Manager webové uživatelské rozhraní Hlavní uzly 8088 HTTP Webové uživatelské rozhraní pro Resource Manager
Resource Manager webové uživatelské rozhraní Hlavní uzly 8090 HTTPS Webové uživatelské rozhraní pro Resource Manager
rozhraní pro správu Resource Manager hlavní uzly 8141 IPC Pro odesílání aplikací (Hive, server Hive, Pig atd.)
plánovač Resource Manager hlavní uzly 8030 HTTP Rozhraní pro správu
Resource Manager aplikační rozhraní hlavní uzly 8050 HTTP Adresa rozhraní správce aplikací
NodeManager Všechny pracovní uzly 30050   Adresa správce kontejnerů
Webové uživatelské rozhraní služby NodeManager Všechny pracovní uzly 30060 HTTP Resource Manager rozhraní
Adresa časové osy Hlavní uzly 10200 RPC Služba RPC služby Časová osa.
Webové uživatelské rozhraní časové osy Hlavní uzly 8188 HTTP Webové uživatelské rozhraní služby Časové osy

Porty Hivu

Služba Uzly Port Protokol Description
HiveServer2 Hlavní uzly 10001 Thrift Služba pro připojení k Hivu (Thrift/JDBC)
Metastore Hive Hlavní uzly 9083 Thrift Služba pro připojení k metadatům Hivu (Thrift/JDBC)

Porty WebHCat

Služba Uzly Port Protokol Description
Server WebHCat Hlavní uzly 30111 HTTP Webové rozhraní API a HCatalog další služby Hadoop

Porty MapReduce

Služba Uzly Port Protokol Description
JobHistory Hlavní uzly 19888 HTTP Webové uživatelské rozhraní JobHistory MapReduce
JobHistory Hlavní uzly 10020   MapReduce JobHistory Server
Obslužná rutina shuffleHandler   13562   Přenáší zprostředkující výstupy mapování do žádajících reduktorů.

Oozie

Služba Uzly Port Protokol Description
Server Oozie Hlavní uzly 11000 HTTP Adresa URL pro službu Oozie
Server Oozie Hlavní uzly 11001 HTTP Port pro správce Oozie

Metriky Ambari

Služba Uzly Port Protokol Description
TimeLine (historie aplikace) Hlavní uzly 6188 HTTP Webové uživatelské rozhraní služby TimeLine
TimeLine (historie aplikace) Hlavní uzly 30200 RPC Webové uživatelské rozhraní služby TimeLine

Porty HBase

Služba Uzly Port Protokol Description
HMaster Hlavní uzly 16000    
Webové uživatelské rozhraní HMaster info Hlavní uzly 16010 HTTP Port pro hlavní webové uživatelské rozhraní HBase
Oblastní server Všechny pracovní uzly 16020  
Webové uživatelské rozhraní informací o regionovém serveru  Všechny pracovní uzly 16030 HTTP Port webového uživatelského rozhraní serveru oblasti HBase
2181 Port, který klienti používají pro připojení k ZooKeeperu

Porty Kafka

Služba Uzly Port Protokol Description
Zprostředkovatel Pracovní uzly 9092 Protokol kafka wire Používá se ke komunikaci s klientem.
  Uzly Zookeeper 2181   Port, který klienti používají pro připojení k Zookeeperu
Proxy server REST Uzly pro správu Kafka 9400 HTTPS Specifikace Rest Kafka

Porty Sparku

Služba Uzly Port Protokol Cesta URL Description
Servery Spark Thrift Hlavní uzly 10002 Thrift   Služba pro připojení k Spark SQL (Thrift/JDBC)
Server Livy Hlavní uzly 8998 HTTP   Služba pro spouštění příkazů, úloh a aplikací
Jupyter Notebooks Hlavní uzly 8001 HTTP   Jupyter Notebook web

Příklady:

  • Livy: curl -u admin -G "http://10.0.0.11:8998/". V tomto příkladu 10.0.0.11 je IP adresa hlavního uzlu, který je hostitelem služby Livy.