Partilhar via


Portas utilizadas pelos serviços do Apache Hadoop no HDInsight

Este documento fornece uma lista das portas utilizadas pelos serviços do Apache Hadoop em execução em clusters do HDInsight. Também fornece informações sobre as portas utilizadas para ligar ao cluster através de SSH.

Portas públicas vs. portas não públicas

Os clusters do HDInsight baseados em Linux expõem apenas três portas publicamente na Internet: 22, 23 e 443. Estas portas protegem o acesso ao cluster através do SSH e dos serviços expostos através do protocolo HTTPS seguro.

O HDInsight é implementado por vários Máquinas Virtuais do Azure (nós de cluster) em execução num Rede Virtual do Azure. A partir da rede virtual, pode aceder a portas não expostas através da Internet. Se ligar através de SSH ao nó principal, pode aceder diretamente aos serviços em execução nos nós de cluster.

Importante

Se não especificar uma Rede Virtual do Azure como uma opção de configuração para o HDInsight, uma é criada automaticamente. No entanto, não pode associar outras máquinas (como outras Máquinas Virtuais do Azure ou a sua máquina de desenvolvimento de cliente) a esta rede virtual.

Para associar máquinas adicionais à rede virtual, primeiro tem de criar a rede virtual e, em seguida, especifique-a ao criar o cluster do HDInsight. Para obter mais informações, veja Planear uma rede virtual para o HDInsight.

Portas públicas

Todos os nós num cluster do HDInsight estão localizados num Rede Virtual do Azure. Os nós não podem ser acedidos diretamente a partir da Internet. Um gateway público fornece acesso à Internet às seguintes portas, que são comuns em todos os tipos de cluster do HDInsight.

Serviço Porta Protocolo Description
sshd 22 SSH Liga clientes ao sshd no nó principal principal principal. Para obter mais informações, veja Utilizar o SSH com o HDInsight.
sshd 22 SSH Liga clientes ao sshd no nó de extremidade. Para obter mais informações, veja Utilizar o SSH com o HDInsight.
sshd 23 SSH Liga clientes ao sshd no nó principal secundário. Para obter mais informações, veja Utilizar o SSH com o HDInsight.
Ambari 443 HTTPS IU da Web do Ambari. Veja Gerir o HDInsight com a IU da Web do Apache Ambari
Ambari 443 HTTPS API REST do Ambari. Veja Gerir o HDInsight com a API REST do Apache Ambari
WebHCat 443 HTTPS HCatalog API REST. Veja Utilizar o MapReduce com Curl
HiveServer2 443 ODBC Liga ao Hive com o ODBC. Consulte Ligar o Excel ao HDInsight com o controlador Microsoft ODBC.
HiveServer2 443 JDBC Liga-se ao ApacheHive com jDBC. Veja Ligar ao Apache Hive no HDInsight com o controlador JDBC do Hive

Os seguintes estão disponíveis para tipos de cluster específicos:

Serviço Porta Protocolo Tipo de cluster Description
Stargate 443 HTTPS HBase API REST do HBase. Veja Introdução à utilização do Apache HBase
Livy 443 HTTPS Spark API REST do Spark. Veja Submeter tarefas do Apache Spark remotamente com o Apache Livy
Servidor Spark Thrift 443 HTTPS Spark Servidor Spark Thrift utilizado para submeter consultas do Hive. Veja Utilizar o Beeline com o Apache Hive no HDInsight
Proxy REST do Kafka 443 HTTPS Kafka API REST do Kafka. Veja Interagir com clusters do Apache Kafka no Azure HDInsight com um proxy REST

Autenticação

Todos os serviços expostos publicamente na Internet têm de ser autenticados:

Porta Credenciais
22 ou 23 As credenciais de utilizador SSH especificadas durante a criação do cluster
443 O nome de início de sessão (predefinição: administrador) e a palavra-passe que foram definidos durante a criação do cluster

Portas não públicas

Nota

Alguns serviços só estão disponíveis em tipos de cluster específicos. Por exemplo, o HBase só está disponível em tipos de cluster HBase.

Importante

Alguns serviços só são executados num nó principal de cada vez. Se tentar ligar ao serviço no nó principal primário e receber um erro, tente novamente com o nó principal secundário.

Ambari

Serviço Nós Porta Caminho do URL Protocolo
IU da Web do Ambari Nós principais 8080 / HTTP
Ambari REST API Nós principais 8080 /api/v1 HTTP

Exemplos:

  • API REST do Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Portas HDFS

Serviço Nós Porta Protocolo Description
IU Web do NameNode Nós principais 30070 HTTPS IU da Web para ver o estado
Serviço de metadados NameNode nós principais 8020 IPC Metadados do sistema de ficheiros
DataNode Todos os nós de trabalho 30075 HTTPS IU da Web para ver o estado, os registos, etc.
DataNode Todos os nós de trabalho 30010   Transferência de dados
DataNode Todos os nós de trabalho 30020 IPC Operações de metadados
NameNode Secundário Nós principais 50090 HTTP Ponto de verificação para metadados do NameNode

Portas YARN

Serviço Nós Porta Protocolo Description
IU da Web do Resource Manager Nós principais 8088 HTTP IU da Web para Resource Manager
IU da Web do Resource Manager Nós principais 8090 HTTPS IU da Web para Resource Manager
interface de administrador do Resource Manager nós principais 8141 IPC Para submissões de aplicações (Hive, Servidor do Hive, Pig, etc.)
Resource Manager scheduler nós principais 8030 HTTP Interface administrativa
Resource Manager interface de aplicação nós principais 8050 HTTP Endereço da interface do gestor de aplicações
NodeManager Todos os nós de trabalho 30050   O endereço do gestor de contentores
IU web do NodeManager Todos os nós de trabalho 30060 HTTP interface de Resource Manager
Endereço da linha cronológica Nós principais 10200 RPC O serviço RPC do serviço Linha Cronológica.
IU da Web da Linha Cronológica Nós principais 8188 HTTP IU da Web do serviço de Linha Cronológica

Portas do Hive

Serviço Nós Porta Protocolo Description
HiveServer2 Nós principais 10001 Thrift Serviço para ligar ao Hive (Thrift/JDBC)
Metastore do Hive Nós principais 9083 Thrift Serviço para ligar a metadados do Hive (Thrift/JDBC)

Portas WebHCat

Serviço Nós Porta Protocolo Description
Servidor WebHCat Nós principais 30111 HTTP API Web sobre HCatalog e outros serviços do Hadoop

Portas MapReduce

Serviço Nós Porta Protocolo Description
JobHistory Nós principais 19888 HTTP IU web do MapReduce JobHistory
JobHistory Nós principais 10020   Servidor MapReduce JobHistory
ShuffleHandler   13562   Transfere saídas intermédias do Mapa para pedir Redutores

Oozie

Serviço Nós Porta Protocolo Description
Servidor Oozie Nós principais 11000 HTTP URL para o serviço Oozie
Servidor Oozie Nós principais 11001 HTTP Porta para administrador do Oozie

Métricas do Ambari

Serviço Nós Porta Protocolo Description
TimeLine (Histórico de aplicações) Nós principais 6188 HTTP IU Da Web do serviço TimeLine
TimeLine (Histórico de aplicações) Nós principais 30200 RPC IU Da Web do serviço TimeLine

Portas HBase

Serviço Nós Porta Protocolo Description
HMaster Nós principais 16000    
IU da Web de informações do HMaster Nós principais 16010 HTTP A porta para a IU Da Web principal do HBase
Servidor de região Todos os nós de trabalho 16020  
IU da Web de informações do servidor de região  Todos os nós de trabalho 16030 HTTP A porta para a IU Web do servidor da Região do HBase
2181 A porta que os clientes utilizam para ligar ao ZooKeeper

Portas do Kafka

Serviço Nós Porta Protocolo Description
Mediador Nós de trabalho 9092 Protocolo Kafka Wire Utilizado para comunicação de cliente
  Nós do Zookeeper 2181   A porta que os clientes utilizam para ligar ao Zookeeper
Proxy REST Nós de gestão do Kafka 9400 HTTPS Especificação REST do Kafka

Portas do Spark

Serviço Nós Porta Protocolo Caminho do URL Description
Servidores Spark Thrift Nós principais 10002 Thrift   Serviço para ligar ao Spark SQL (Thrift/JDBC)
Servidor Livy Nós principais 8998 HTTP   Serviço para executar instruções, tarefas e aplicações
Jupyter Notebook Nós principais 8001 HTTP   site do Jupyter Notebook

Exemplos:

  • Livy: curl -u admin -G "http://10.0.0.11:8998/". Neste exemplo, 10.0.0.11 é o endereço IP do nó principal que aloja o serviço Livy.