Az Apache Hadoop-szolgáltatások által a HDInsighton használt portok

Cikk
09/06/2024

Ez a dokumentum a HDInsight-fürtökön futó Apache Hadoop-szolgáltatások által használt portok listáját tartalmazza. Emellett információt nyújt a fürthöz SSH-val való csatlakozáshoz használt portokról is.

Nyilvános portok és nem nyilvános portok

A Linux-alapú HDInsight-fürtök csak három portot tehetnek közzé nyilvánosan az interneten: 22, 23 és 443. Ezek a portok biztonságos fürthozzáférést biztosítanak a biztonságos HTTPS protokollon keresztül elérhető SSH-val és szolgáltatásokkal.

A HDInsightot több Azure-Virtual Machines (fürtcsomópont) valósítja meg, amelyek egy Azure-Virtual Network futnak. A virtuális hálózaton belülről elérheti az interneten keresztül nem elérhető portokat. Ha SSH-n keresztül csatlakozik az átjárócsomóponthoz, közvetlenül hozzáférhet a fürtcsomópontokon futó szolgáltatásokhoz.

Fontos

Ha nem ad meg Azure-Virtual Network a HDInsight konfigurációs beállításaként, a rendszer automatikusan létrehoz egyet. Ehhez a virtuális hálózathoz azonban nem csatlakoztathat más gépeket (például más Azure-Virtual Machines vagy ügyfélfejlesztő gépet).

Ha további gépeket szeretne csatlakoztatni a virtuális hálózathoz, először létre kell hoznia a virtuális hálózatot, majd meg kell adnia a HDInsight-fürt létrehozásakor. További információ: Virtuális hálózat tervezése a HDInsighthoz.

Nyilvános portok

A HDInsight-fürtök összes csomópontja egy Azure-Virtual Network található. A csomópontok nem érhetők el közvetlenül az internetről. A nyilvános átjáró az alábbi portokhoz biztosít internetkapcsolatot, amelyek minden HDInsight-fürttípusban gyakoriak.

Szolgáltatás	Port	Protokoll	Description
Sshd	22	SSH	Az ügyfeleket az elsődleges átjárócsomóponton lévő sshd-hoz csatlakoztatja. További információ: SSH használata HDInsighttal.
Sshd	22	SSH	Csatlakoztatja az ügyfeleket az sshd-hoz a peremcsomóponton. További információ: SSH használata HDInsighttal.
Sshd	23	SSH	Csatlakoztatja az ügyfeleket az sshd-hoz a másodlagos átjárócsomóponton. További információ: SSH használata HDInsighttal.
Ambari	443	HTTPS	Ambari webes felhasználói felület. Lásd: HDInsight kezelése az Apache Ambari webes felhasználói felületén
Ambari	443	HTTPS	Ambari REST API. Lásd: HDInsight kezelése az Apache Ambari REST API használatával
WebHCat	443	HTTPS	`HCatalog` REST API. Lásd: A MapReduce használata a Curl használatával
HiveServer2	443	ODBC	Az ODBC használatával csatlakozik a Hive-hez. Lásd: Az Excel csatlakoztatása a HDInsighthoz a Microsoft ODBC-illesztővel.
HiveServer2	443	JDBC	A JDBC használatával csatlakozik az ApacheHive-hez. Lásd: Csatlakozás az Apache Hive-hez HDInsighton a Hive JDBC-illesztőprogram használatával

Az alábbiak érhetők el adott fürttípusokhoz:

Szolgáltatás	Port	Protokoll	Fürt típusa	Description
`Stargate`	443	HTTPS	HBase	HBase REST API. Lásd : Az Apache HBase használatának első lépései
Livy	443	HTTPS	Spark	Spark REST API. Lásd: Apache Spark-feladatok távoli elküldése az Apache Livy használatával
Spark Thrift-kiszolgáló	443	HTTPS	Spark	A Hive-lekérdezések küldéséhez használt Spark Thrift-kiszolgáló. Lásd: A Beeline használata az Apache Hive on HDInsighttal
Kafka REST proxy	443	HTTPS	Kafka	Kafka REST API. Lásd: Apache Kafka-fürtök használata az Azure HDInsightban REST-proxy használatával

Hitelesítés

Az interneten nyilvánosan közzétett összes szolgáltatást hitelesíteni kell:

Port	Hitelesítő adatok
22 vagy 23	A fürt létrehozásakor megadott SSH-felhasználói hitelesítő adatok
443	A fürt létrehozásakor beállított bejelentkezési név (alapértelmezett: rendszergazda) és jelszó

Nem nyilvános portok

Megjegyzés

Egyes szolgáltatások csak bizonyos fürttípusokon érhetők el. A HBase például csak HBase-fürttípusokon érhető el.

Fontos

Egyes szolgáltatások egyszerre csak egy átjárócsomóponton futnak. Ha megpróbál csatlakozni a szolgáltatáshoz az elsődleges átjárócsomóponton, és hibaüzenetet kap, próbálkozzon újra a másodlagos átjárócsomópont használatával.

Ambari

Szolgáltatás	Csomópontok	Port	URL-cím elérési útja	Protokoll
Ambari webes felhasználói felülete	Átjárócsomópontok	8080	/	HTTP
Ambari REST API	Átjárócsomópontok	8080	/api/v1	HTTP

Példák:

Ambari REST API: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

HDFS-portok

Szolgáltatás	Csomópontok	Port	Protokoll	Description
NameNode webes felhasználói felülete	Átjárócsomópontok	30070	HTTPS	Webes felhasználói felület az állapot megtekintéséhez
NameNode metaadat-szolgáltatás	átjárócsomópontok	8020	IPC	Fájlrendszer metaadatai
DataNode	Minden munkavégző csomópont	30075	HTTPS	Webes felhasználói felület az állapot, a naplók stb. megtekintéséhez.
DataNode	Minden munkavégző csomópont	30010		Adatátvitel
DataNode	Minden munkavégző csomópont	30020	IPC	Metaadat-műveletek
Másodlagos névcsomópont	Átjárócsomópontok	50090	HTTP	A NameNode metaadatainak ellenőrzőpontja

YARN-portok

Szolgáltatás	Csomópontok	Port	Protokoll	Description
Resource Manager webes felhasználói felület	Átjárócsomópontok	8088	HTTP	Webes felhasználói felület a Resource Manager
Resource Manager webes felhasználói felület	Átjárócsomópontok	8090	HTTPS	Webes felhasználói felület a Resource Manager
Resource Manager felügyeleti felület	átjárócsomópontok	8141	IPC	Alkalmazásbeküldésekhez (Hive, Hive-kiszolgáló, Pig stb.)
Resource Manager ütemező	átjárócsomópontok	8030	HTTP	Felügyeleti felület
Resource Manager alkalmazásfelület	átjárócsomópontok	8050	HTTP	Az alkalmazáskezelő felületének címe
NodeManager	Minden munkavégző csomópont	30050		A tárolókezelő címe
NodeManager webes felhasználói felület	Minden munkavégző csomópont	30060	HTTP	Resource Manager felület
Idősor címe	Átjárócsomópontok	10200	RPC	A Timeline szolgáltatás RPC szolgáltatása.
Idősor webes felhasználói felülete	Átjárócsomópontok	8188	HTTP	Az Idősor szolgáltatás webes felhasználói felülete

Hive-portok

Szolgáltatás	Csomópontok	Port	Protokoll	Description
HiveServer2	Átjárócsomópontok	10001	Thrift	Szolgáltatás a Hive-hoz való csatlakozáshoz (Thrift/JDBC)
Hive-metaadattár	Átjárócsomópontok	9083	Thrift	Szolgáltatás Hive-metaadatokhoz való csatlakozáshoz (Thrift/JDBC)

WebHCat-portok

Szolgáltatás	Csomópontok	Port	Protokoll	Description
WebHCat-kiszolgáló	Átjárócsomópontok	30111	HTTP	Webes API és `HCatalog` egyéb Hadoop-szolgáltatások

MapReduce-portok

Szolgáltatás	Csomópontok	Port	Protokoll	Description
JobHistory	Átjárócsomópontok	19888	HTTP	MapReduce JobHistory webes felhasználói felület
JobHistory	Átjárócsomópontok	10020		MapReduce JobHistory-kiszolgáló
ShuffleHandler		13562		Köztes leképezési kimenetek átvitele a kérelmező csökkentési résztvevőknek

Oozie

Szolgáltatás	Csomópontok	Port	Protokoll	Description
Oozie-kiszolgáló	Átjárócsomópontok	11000	HTTP	Az Oozie-szolgáltatás URL-címe
Oozie-kiszolgáló	Átjárócsomópontok	11001	HTTP	Oozie-rendszergazda portja

Ambari-metrikák

Szolgáltatás	Csomópontok	Port	Protokoll	Description
TimeLine (Alkalmazáselőzmények)	Átjárócsomópontok	6188	HTTP	A TimeLine szolgáltatás webes felhasználói felülete
TimeLine (Alkalmazáselőzmények)	Átjárócsomópontok	30200	RPC	A TimeLine szolgáltatás webes felhasználói felülete

HBase-portok

Szolgáltatás	Csomópontok	Port	Protokoll	Description
HMaster	Átjárócsomópontok	16000
HMaster info webes felhasználói felület	Átjárócsomópontok	16010	HTTP	A HBase master webes felhasználói felületének portja
Régiókiszolgáló	Minden munkavégző csomópont	16020
Régiókiszolgáló adatai – webes felhasználói felület	Minden munkavégző csomópont	16030	HTTP	A HBase-régiókiszolgáló webes felhasználói felületének portja
		2181		Az a port, amelyet az ügyfelek a ZooKeeperhez való csatlakozáshoz használnak

Kafka-portok

Szolgáltatás	Csomópontok	Port	Protokoll	Description
Közvetítő	Munkavégző csomópontok	9092	Kafka Wire Protocol	Ügyfélkommunikációhoz használatos
	Zookeeper-csomópontok	2181		Az a port, amelyet az ügyfelek a Zookeeperhez való csatlakozáshoz használnak
REST-proxy	Kafka felügyeleti csomópontok	9400	HTTPS	Kafka REST-specifikáció

Spark-portok

Szolgáltatás	Csomópontok	Port	Protokoll	Description
Spark Thrift-kiszolgálók	Átjárócsomópontok	10002	Thrift	Szolgáltatás a Spark SQL-hez való csatlakozáshoz (Thrift/JDBC)
Livy-kiszolgáló	Átjárócsomópontok	8998	HTTP	Utasítások, feladatok és alkalmazások futtatására szolgáló szolgáltatás
Jupyter Notebook	Átjárócsomópontok	8001	HTTP	Jupyter Notebook webhely