Udostępnij za pośrednictwem


Porty używane przez usługi Apache Hadoop w usłudze HDInsight

Ten dokument zawiera listę portów używanych przez usługi Apache Hadoop uruchomionych w klastrach usługi HDInsight. Zawiera również informacje na temat portów używanych do nawiązywania połączenia z klastrem przy użyciu protokołu SSH.

Porty publiczne a porty inne niż publiczne

Klastry usługi HDInsight oparte na systemie Linux udostępniają tylko trzy porty publicznie w Internecie: 22, 23 i 443. Te porty zabezpieczają dostęp do klastra przy użyciu protokołu SSH i usług udostępnianych za pośrednictwem bezpiecznego protokołu HTTPS.

Usługa HDInsight jest implementowana przez kilka Virtual Machines platformy Azure (węzłów klastra) uruchomionych w usłudze Azure Virtual Network. Z poziomu sieci wirtualnej można uzyskać dostęp do portów, które nie są uwidocznione przez Internet. Jeśli połączysz się za pośrednictwem protokołu SSH z węzłem głównym, możesz bezpośrednio uzyskać dostęp do usług uruchomionych w węzłach klastra.

Ważne

Jeśli nie określisz usługi Azure Virtual Network jako opcji konfiguracji dla usługi HDInsight, zostanie ona utworzona automatycznie. Nie można jednak dołączyć innych maszyn (takich jak inne maszyny platformy Azure Virtual Machines lub maszyny deweloperskie klienta) do tej sieci wirtualnej.

Aby dołączyć dodatkowe maszyny do sieci wirtualnej, należy najpierw utworzyć sieć wirtualną, a następnie określić ją podczas tworzenia klastra usługi HDInsight. Aby uzyskać więcej informacji, zobacz Planowanie sieci wirtualnej dla usługi HDInsight.

Porty publiczne

Wszystkie węzły w klastrze usługi HDInsight znajdują się w usłudze Azure Virtual Network. Węzły nie mogą być bezpośrednio dostępne z Internetu. Brama publiczna zapewnia dostęp do Internetu do następujących portów, które są wspólne dla wszystkich typów klastrów usługi HDInsight.

Usługa Port Protokół Opis
Sshd 22 Protokół SSH Łączy klientów z dyskiem SSHD w podstawowym węźle głównym. Aby uzyskać więcej informacji, zobacz Używanie protokołu SSH w usłudze HDInsight.
Sshd 22 Protokół SSH Łączy klientów z dyskiem SSHD w węźle brzegowym. Aby uzyskać więcej informacji, zobacz Używanie protokołu SSH w usłudze HDInsight.
Sshd 23 Protokół SSH Łączy klientów z dyskiem sshd w pomocniczym węźle głównym. Aby uzyskać więcej informacji, zobacz Używanie protokołu SSH w usłudze HDInsight.
Ambari 443 HTTPS Internetowy interfejs użytkownika systemu Ambari. Zobacz Manage HDInsight using the Apache Ambari Web UI (Zarządzanie usługą HDInsight przy użyciu internetowego interfejsu użytkownika platformy Apache Ambari)
Ambari 443 HTTPS Interfejs API REST systemu Ambari. Zobacz Manage HDInsight using the Apache Ambari REST API (Zarządzanie usługą HDInsight przy użyciu interfejsu API REST platformy Apache Ambari)
WebHCat 443 HTTPS HCatalog Interfejs API REST. Zobacz Use MapReduce with Curl (Używanie narzędzia MapReduce z programem Curl)
HiveServer2 443 ODBC Nawiązuje połączenie z programem Hive przy użyciu odBC. Zobacz Connect Excel to HDInsight with the Microsoft ODBC driver (Łączenie programu Excel z usługą HDInsight za pomocą sterownika ODBC firmy Microsoft).
HiveServer2 443 JDBC Nawiązuje połączenie z platformą ApacheHive przy użyciu JDBC. Zobacz Connect to Apache Hive on HDInsight using the Hive JDBC driver (Nawiązywanie połączenia z usługą Apache Hive w usłudze HDInsight przy użyciu sterownika Hive JDBC)

Dostępne są następujące elementy dla określonych typów klastrów:

Usługa Port Protokół Typ klastra Opis
Stargate 443 HTTPS HBase Interfejs API REST bazy danych HBase. Zobacz Wprowadzenie do korzystania z bazy danych Apache HBase
Livy 443 HTTPS platforma Spark Interfejs API REST platformy Spark. Zobacz Zdalne przesyłanie zadań platformy Apache Spark przy użyciu usługi Apache Livy
Serwer Spark Thrift 443 HTTPS platforma Spark Serwer Spark Thrift używany do przesyłania zapytań hive. Zobacz Używanie platformy Beeline z usługą Apache Hive w usłudze HDInsight
Serwer proxy REST Kafka 443 HTTPS Kafka Interfejs API REST platformy Kafka. Zobacz Interakcje z klastrami platformy Apache Kafka w usłudze Azure HDInsight przy użyciu serwera proxy REST

Authentication

Wszystkie usługi udostępniane publicznie w Internecie muszą zostać uwierzytelnione:

Port Referencje
22 lub 23 Poświadczenia użytkownika SSH określone podczas tworzenia klastra
443 Nazwa logowania (domyślna: administrator) i hasło ustawione podczas tworzenia klastra

Porty inne niż publiczne

Uwaga

Niektóre usługi są dostępne tylko dla określonych typów klastrów. Na przykład baza HBase jest dostępna tylko w typach klastrów HBase.

Ważne

Niektóre usługi są uruchamiane tylko w jednym węźle głównym jednocześnie. Jeśli spróbujesz nawiązać połączenie z usługą w podstawowym węźle głównym i wystąpi błąd, spróbuj ponownie użyć pomocniczego węzła głównego.

Ambari

Usługa Węzły Port Ścieżka adresu URL Protokół
Internetowy interfejs użytkownika systemu Ambari Węzły główne 8080 / HTTP
Ambari REST API Węzły główne 8080 /api/v1 HTTP

Przykłady:

  • Interfejs API REST systemu Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Porty systemu plików HDFS

Usługa Węzły Port Protokół Opis
Interfejs użytkownika sieci Web węzła NameNode Węzły główne 30070 HTTPS Internetowy interfejs użytkownika do wyświetlania stanu
Usługa metadanych NameNode węzły główne 8020 IPC Metadane systemu plików
DataNode Wszystkie węzły robocze 30075 HTTPS Internetowy interfejs użytkownika do wyświetlania stanu, dzienników itd.
DataNode Wszystkie węzły robocze 30010   Transfer danych
DataNode Wszystkie węzły robocze 30020 IPC Operacje na metadanych
Pomocniczy węzeł NameNode Węzły główne 50090 HTTP Punkt kontrolny metadanych węzła NameNode

Porty usługi YARN

Usługa Węzły Port Protokół Opis
Resource Manager internetowy interfejs użytkownika Węzły główne 8088 HTTP Internetowy interfejs użytkownika dla Resource Manager
Resource Manager internetowy interfejs użytkownika Węzły główne 8090 HTTPS Internetowy interfejs użytkownika dla Resource Manager
interfejs administracyjny Resource Manager węzły główne 8141 IPC W przypadku przesyłania aplikacji (Hive, Serwera Hive, Pig itd.)
harmonogram Resource Manager węzły główne 8030 HTTP Interfejs administracyjny
interfejs aplikacji Resource Manager węzły główne 8050 HTTP Adres interfejsu menedżera aplikacji
NodeManager Wszystkie węzły robocze 30050   Adres menedżera kontenerów
Internetowy interfejs użytkownika narzędzia NodeManager Wszystkie węzły robocze 30060 HTTP interfejs Resource Manager
Adres osi czasu Węzły główne 10200 Zdalne wywołanie procedury Usługa RPC usługi Osi czasu.
Interfejs użytkownika sieci Web osi czasu Węzły główne 8188 HTTP Interfejs użytkownika sieci Web usługi osi czasu

Porty hive

Usługa Węzły Port Protokół Opis
HiveServer2 Węzły główne 10001 Thrift Usługa nawiązywania połączenia z usługą Hive (Thrift/JDBC)
Magazyn metadanych Hive Węzły główne 9083 Thrift Usługa nawiązywania połączenia z metadanymi hive (Thrift/JDBC)

Porty WebHCat

Usługa Węzły Port Protokół Opis
Serwer WebHCat Węzły główne 30111 HTTP Internetowy interfejs API na platformie HCatalog Hadoop i inne usługi Hadoop

Porty MapReduce

Usługa Węzły Port Protokół Opis
JobHistory Węzły główne 19888 HTTP Interfejs użytkownika sieci Web MapReduce JobHistory
JobHistory Węzły główne 10020   Serwer MapReduce JobHistory
ShuffleHandler   13562   Transferuje dane wyjściowe mapy pośredniej do żądań redukcji

Oozie

Usługa Węzły Port Protokół Opis
Serwer Oozie Węzły główne 11000 HTTP Adres URL usługi Oozie
Serwer Oozie Węzły główne 11001 HTTP Port dla administratora Oozie

Metryki systemu Ambari

Usługa Węzły Port Protokół Opis
TimeLine (historia aplikacji) Węzły główne 6188 HTTP Internetowy interfejs użytkownika usługi TimeLine
TimeLine (historia aplikacji) Węzły główne 30200 Zdalne wywołanie procedury Internetowy interfejs użytkownika usługi TimeLine

Porty HBase

Usługa Węzły Port Protokół Opis
HMaster Węzły główne 16000    
Interfejs użytkownika sieci Web informacji O programie HMaster Węzły główne 16010 HTTP Port głównego internetowego interfejsu użytkownika bazy danych HBase
Serwer regionów Wszystkie węzły robocze 16020  
Internetowy interfejs użytkownika informacji o serwerze regionów  Wszystkie węzły robocze 16030 HTTP Port internetowego interfejsu użytkownika serwera regionu HBase
2181 Port używany przez klientów do nawiązywania połączenia z usługą ZooKeeper

Porty platformy Kafka

Usługa Węzły Port Protokół Opis
Broker Węzły robocze 9092 Protokół przewodowy platformy Kafka Używany do komunikacji z klientem
  Węzły dozorców 2181   Port używany przez klientów do nawiązywania połączenia z usługą Zookeeper
Serwer proxy REST Węzły zarządzania platformy Kafka 9400 HTTPS Specyfikacja REST platformy Kafka

Porty platformy Spark

Usługa Węzły Port Protokół Ścieżka adresu URL Opis
Serwery Spark Thrift Węzły główne 10002 Thrift   Usługa do nawiązywania połączenia z usługą Spark SQL (Thrift/JDBC)
Serwer Usługi Livy Węzły główne 8998 HTTP   Usługa do uruchamiania instrukcji, zadań i aplikacji
Notes Jupyter Węzły główne 8001 HTTP   witryna internetowa Jupyter Notebook

Przykłady:

  • Livy: curl -u admin -G "http://10.0.0.11:8998/". W tym przykładzie 10.0.0.11 jest to adres IP węzła głównego, który hostuje usługę Livy.