Az Apache Hadoop-szolgáltatások által a HDInsighton használt portok
Ez a dokumentum a HDInsight-fürtökön futó Apache Hadoop-szolgáltatások által használt portok listáját tartalmazza. Emellett információt nyújt a fürthöz SSH-val való csatlakozáshoz használt portokról is.
Nyilvános portok és nem nyilvános portok
A Linux-alapú HDInsight-fürtök csak három portot tehetnek közzé nyilvánosan az interneten: 22, 23 és 443. Ezek a portok biztonságos fürthozzáférést biztosítanak a biztonságos HTTPS protokollon keresztül elérhető SSH-val és szolgáltatásokkal.
A HDInsightot több Azure-Virtual Machines (fürtcsomópont) valósítja meg, amelyek egy Azure-Virtual Network futnak. A virtuális hálózaton belülről elérheti az interneten keresztül nem elérhető portokat. Ha SSH-n keresztül csatlakozik az átjárócsomóponthoz, közvetlenül hozzáférhet a fürtcsomópontokon futó szolgáltatásokhoz.
Fontos
Ha nem ad meg Azure-Virtual Network a HDInsight konfigurációs beállításaként, a rendszer automatikusan létrehoz egyet. Ehhez a virtuális hálózathoz azonban nem csatlakoztathat más gépeket (például más Azure-Virtual Machines vagy ügyfélfejlesztő gépet).
Ha további gépeket szeretne csatlakoztatni a virtuális hálózathoz, először létre kell hoznia a virtuális hálózatot, majd meg kell adnia a HDInsight-fürt létrehozásakor. További információ: Virtuális hálózat tervezése a HDInsighthoz.
Nyilvános portok
A HDInsight-fürtök összes csomópontja egy Azure-Virtual Network található. A csomópontok nem érhetők el közvetlenül az internetről. A nyilvános átjáró az alábbi portokhoz biztosít internetkapcsolatot, amelyek minden HDInsight-fürttípusban gyakoriak.
| Szolgáltatás | Port | Protokoll | Description |
|---|---|---|---|
| Sshd | 22 | SSH | Az ügyfeleket az elsődleges átjárócsomóponton lévő sshd-hoz csatlakoztatja. További információ: SSH használata HDInsighttal. |
| Sshd | 22 | SSH | Csatlakoztatja az ügyfeleket az sshd-hoz a peremcsomóponton. További információ: SSH használata HDInsighttal. |
| Sshd | 23 | SSH | Csatlakoztatja az ügyfeleket az sshd-hoz a másodlagos átjárócsomóponton. További információ: SSH használata HDInsighttal. |
| Ambari | 443 | HTTPS | Ambari webes felhasználói felület. Lásd: HDInsight kezelése az Apache Ambari webes felhasználói felületén |
| Ambari | 443 | HTTPS | Ambari REST API. Lásd: HDInsight kezelése az Apache Ambari REST API használatával |
| WebHCat | 443 | HTTPS | HCatalog REST API. Lásd: A MapReduce használata a Curl használatával |
| HiveServer2 | 443 | ODBC | Az ODBC használatával csatlakozik a Hive-hez. Lásd: Az Excel csatlakoztatása a HDInsighthoz a Microsoft ODBC-illesztővel. |
| HiveServer2 | 443 | JDBC | A JDBC használatával csatlakozik az ApacheHive-hez. Lásd: Csatlakozás az Apache Hive-hez HDInsighton a Hive JDBC-illesztőprogram használatával |
Az alábbiak érhetők el adott fürttípusokhoz:
| Szolgáltatás | Port | Protokoll | Fürt típusa | Description |
|---|---|---|---|---|
Stargate |
443 | HTTPS | HBase | HBase REST API. Lásd : Az Apache HBase használatának első lépései |
| Livy | 443 | HTTPS | Spark | Spark REST API. Lásd: Apache Spark-feladatok távoli elküldése az Apache Livy használatával |
| Spark Thrift-kiszolgáló | 443 | HTTPS | Spark | A Hive-lekérdezések küldéséhez használt Spark Thrift-kiszolgáló. Lásd: A Beeline használata az Apache Hive on HDInsighttal |
| Kafka REST proxy | 443 | HTTPS | Kafka | Kafka REST API. Lásd: Apache Kafka-fürtök használata az Azure HDInsightban REST-proxy használatával |
Hitelesítés
Az interneten nyilvánosan közzétett összes szolgáltatást hitelesíteni kell:
| Port | Hitelesítő adatok |
|---|---|
| 22 vagy 23 | A fürt létrehozásakor megadott SSH-felhasználói hitelesítő adatok |
| 443 | A fürt létrehozásakor beállított bejelentkezési név (alapértelmezett: rendszergazda) és jelszó |
Nem nyilvános portok
Megjegyzés
Egyes szolgáltatások csak bizonyos fürttípusokon érhetők el. A HBase például csak HBase-fürttípusokon érhető el.
Fontos
Egyes szolgáltatások egyszerre csak egy átjárócsomóponton futnak. Ha megpróbál csatlakozni a szolgáltatáshoz az elsődleges átjárócsomóponton, és hibaüzenetet kap, próbálkozzon újra a másodlagos átjárócsomópont használatával.
Ambari
| Szolgáltatás | Csomópontok | Port | URL-cím elérési útja | Protokoll |
|---|---|---|---|---|
| Ambari webes felhasználói felülete | Átjárócsomópontok | 8080 | / | HTTP |
| Ambari REST API | Átjárócsomópontok | 8080 | /api/v1 | HTTP |
Példák:
- Ambari REST API:
curl -u admin "http://10.0.0.11:8080/api/v1/clusters"
HDFS-portok
| Szolgáltatás | Csomópontok | Port | Protokoll | Description |
|---|---|---|---|---|
| NameNode webes felhasználói felülete | Átjárócsomópontok | 30070 | HTTPS | Webes felhasználói felület az állapot megtekintéséhez |
| NameNode metaadat-szolgáltatás | átjárócsomópontok | 8020 | IPC | Fájlrendszer metaadatai |
| DataNode | Minden munkavégző csomópont | 30075 | HTTPS | Webes felhasználói felület az állapot, a naplók stb. megtekintéséhez. |
| DataNode | Minden munkavégző csomópont | 30010 | Adatátvitel | |
| DataNode | Minden munkavégző csomópont | 30020 | IPC | Metaadat-műveletek |
| Másodlagos névcsomópont | Átjárócsomópontok | 50090 | HTTP | A NameNode metaadatainak ellenőrzőpontja |
YARN-portok
| Szolgáltatás | Csomópontok | Port | Protokoll | Description |
|---|---|---|---|---|
| Resource Manager webes felhasználói felület | Átjárócsomópontok | 8088 | HTTP | Webes felhasználói felület a Resource Manager |
| Resource Manager webes felhasználói felület | Átjárócsomópontok | 8090 | HTTPS | Webes felhasználói felület a Resource Manager |
| Resource Manager felügyeleti felület | átjárócsomópontok | 8141 | IPC | Alkalmazásbeküldésekhez (Hive, Hive-kiszolgáló, Pig stb.) |
| Resource Manager ütemező | átjárócsomópontok | 8030 | HTTP | Felügyeleti felület |
| Resource Manager alkalmazásfelület | átjárócsomópontok | 8050 | HTTP | Az alkalmazáskezelő felületének címe |
| NodeManager | Minden munkavégző csomópont | 30050 | A tárolókezelő címe | |
| NodeManager webes felhasználói felület | Minden munkavégző csomópont | 30060 | HTTP | Resource Manager felület |
| Idősor címe | Átjárócsomópontok | 10200 | RPC | A Timeline szolgáltatás RPC szolgáltatása. |
| Idősor webes felhasználói felülete | Átjárócsomópontok | 8188 | HTTP | Az Idősor szolgáltatás webes felhasználói felülete |
Hive-portok
| Szolgáltatás | Csomópontok | Port | Protokoll | Description |
|---|---|---|---|---|
| HiveServer2 | Átjárócsomópontok | 10001 | Thrift | Szolgáltatás a Hive-hoz való csatlakozáshoz (Thrift/JDBC) |
| Hive-metaadattár | Átjárócsomópontok | 9083 | Thrift | Szolgáltatás Hive-metaadatokhoz való csatlakozáshoz (Thrift/JDBC) |
WebHCat-portok
| Szolgáltatás | Csomópontok | Port | Protokoll | Description |
|---|---|---|---|---|
| WebHCat-kiszolgáló | Átjárócsomópontok | 30111 | HTTP | Webes API és HCatalog egyéb Hadoop-szolgáltatások |
MapReduce-portok
| Szolgáltatás | Csomópontok | Port | Protokoll | Description |
|---|---|---|---|---|
| JobHistory | Átjárócsomópontok | 19888 | HTTP | MapReduce JobHistory webes felhasználói felület |
| JobHistory | Átjárócsomópontok | 10020 | MapReduce JobHistory-kiszolgáló | |
| ShuffleHandler | 13562 | Köztes leképezési kimenetek átvitele a kérelmező csökkentési résztvevőknek |
Oozie
| Szolgáltatás | Csomópontok | Port | Protokoll | Description |
|---|---|---|---|---|
| Oozie-kiszolgáló | Átjárócsomópontok | 11000 | HTTP | Az Oozie-szolgáltatás URL-címe |
| Oozie-kiszolgáló | Átjárócsomópontok | 11001 | HTTP | Oozie-rendszergazda portja |
Ambari-metrikák
| Szolgáltatás | Csomópontok | Port | Protokoll | Description |
|---|---|---|---|---|
| TimeLine (Alkalmazáselőzmények) | Átjárócsomópontok | 6188 | HTTP | A TimeLine szolgáltatás webes felhasználói felülete |
| TimeLine (Alkalmazáselőzmények) | Átjárócsomópontok | 30200 | RPC | A TimeLine szolgáltatás webes felhasználói felülete |
HBase-portok
| Szolgáltatás | Csomópontok | Port | Protokoll | Description |
|---|---|---|---|---|
| HMaster | Átjárócsomópontok | 16000 | ||
| HMaster info webes felhasználói felület | Átjárócsomópontok | 16010 | HTTP | A HBase master webes felhasználói felületének portja |
| Régiókiszolgáló | Minden munkavégző csomópont | 16020 | ||
| Régiókiszolgáló adatai – webes felhasználói felület | Minden munkavégző csomópont | 16030 | HTTP | A HBase-régiókiszolgáló webes felhasználói felületének portja |
| 2181 | Az a port, amelyet az ügyfelek a ZooKeeperhez való csatlakozáshoz használnak |
Kafka-portok
| Szolgáltatás | Csomópontok | Port | Protokoll | Description |
|---|---|---|---|---|
| Közvetítő | Munkavégző csomópontok | 9092 | Kafka Wire Protocol | Ügyfélkommunikációhoz használatos |
| Zookeeper-csomópontok | 2181 | Az a port, amelyet az ügyfelek a Zookeeperhez való csatlakozáshoz használnak | ||
| REST-proxy | Kafka felügyeleti csomópontok | 9400 | HTTPS | Kafka REST-specifikáció |
Spark-portok
| Szolgáltatás | Csomópontok | Port | Protokoll | URL-cím elérési útja | Description |
|---|---|---|---|---|---|
| Spark Thrift-kiszolgálók | Átjárócsomópontok | 10002 | Thrift | Szolgáltatás a Spark SQL-hez való csatlakozáshoz (Thrift/JDBC) | |
| Livy-kiszolgáló | Átjárócsomópontok | 8998 | HTTP | Utasítások, feladatok és alkalmazások futtatására szolgáló szolgáltatás | |
| Jupyter Notebook | Átjárócsomópontok | 8001 | HTTP | Jupyter Notebook webhely |
Példák:
- Livy:
curl -u admin -G "http://10.0.0.11:8998/". Ebben a példában10.0.0.11a Livy szolgáltatást üzemeltető átjárócsomópont IP-címe.