Compartilhar via


Portas usadas pelos serviços do Apache Hadoop em execução no HDInsight

Este documento fornece uma lista das portas usadas pelos serviços do Apache Hadoop em execução nos clusters HDInsight. Ele também fornece informações sobre portas usadas para se conectar ao cluster usando SSH.

Portas públicas versus portas não públicas

Os clusters HDInsight baseados em Linux expõem apenas três portas publicamente na Internet: 22, 23 e 443. Essas portas protegem o acesso ao cluster usando SSH e serviços expostos pelo protocolo HTTPS seguro.

O HDInsight é implementado por várias Máquinas Virtuais do Azure (os nós de cluster) em execução em uma Rede Virtual do Azure. Dentro da rede virtual, você pode acessar portas não expostas pela Internet. Se você se conectar via SSH ao nó principal, poderá acessar diretamente os serviços em execução nos nós de cluster.

Importante

Se você não especificar uma Rede Virtual do Azure como uma opção de configuração para o HDInsight, uma será criada automaticamente. No entanto, não é possível ingressar outras máquinas (como outras Máquinas Virtuais do Azure ou o computador de desenvolvimento cliente) nessa rede virtual.

Para ingressar mais computadores na rede virtual, primeiramente é preciso criar a rede virtual e depois especificá-la na criação do cluster HDInsight. Para obter mais informações, confira Planejar uma rede virtual para HDInsight.

Portas públicas

Todos os nós em um cluster HDInsight ficam localizados em uma Rede Virtual do Azure. Os nós não podem ser acessados diretamente pela Internet. Um gateway público fornece acesso à internet para as portas a seguir, que são comuns a todos os tipos de cluster HDInsight.

Serviço Porta Protocolo Descrição
sshd 22 SSH Conecta os clientes a sshd no nó de cabeçalho primário. Para obter mais informações, confira Usar SSH com HDInsight.
sshd 22 SSH Conecta clientes ao sshd no nó de borda. Para obter mais informações, confira Usar SSH com HDInsight.
sshd 23 SSH Conecta os clientes a sshd no nó de cabeçalho secundário. Para obter mais informações, confira Usar SSH com HDInsight.
Ambari 443 HTTPS Interface de usuário da Web do Ambari. Veja Gerenciar HDInsight usando a interface do usuário da Web do Apache Ambari
Ambari 443 HTTPS API REST do Ambari. Veja Gerenciar HDInsight usando a API REST do Apache Ambari
WebHCat 443 HTTPS HCatalogAPI REST. Consulte Usar MapReduce com Ondulação
HiveServer2 443 ODBC Conecta-se ao Hive usando ODBC. Confira Connect Excel to HDInsight with the Microsoft ODBC driver (Conectar o Excel ao HDInsight com o driver ODBC da Microsoft).
HiveServer2 443 JDBC Conecta-se ao ApacheHive usando JDBC. Veja Conectar-se ao Apache Hive no Azure HDInsight usando o driver JDBC do Hive

Veja a seguir os tipos de cluster específicos que estão disponíveis:

Serviço Porta Protocolo Tipo de cluster Descrição
Stargate 443 HTTPS HBase API REST do HBase. Veja Começar a usar o Apache HBase
Livy 443 HTTPS Spark API REST do Spark. Veja Enviar Apache trabalhos em Spark remotamente usando Livy Apache
Servidor do Spark Thrift 443 HTTPS Spark Servidor do Spark Thrift usado para enviar consultas do Hive. Veja Usar o Beeline com o Apache Hive no HDInsight
Proxy REST do Kafka 443 HTTPS Kafka REST API do Kafka. Veja Interagir com clusters do Apache Kafka no Azure HDInsight por meio de um proxy REST

Autenticação

Todos os serviços publicamente expostos na Internet devem ser autenticados:

Porta Credenciais
22 ou 23 As credenciais de usuário SSH especificadas durante a criação do cluster
443 O nome de logon (padrão: admin) e a senha que foram definidos durante a criação do cluster

Portas não públicas

Observação

Alguns serviços só estão disponíveis em tipos de cluster específicos. Por exemplo, HBase só está disponível em tipos de cluster HBase.

Importante

Alguns serviços são executados somente em um nó de cabeçalho por vez. Se você tentar se conectar ao serviço em um nó de cabeçalho primário e receber um erro, tente novamente usando o nó de cabeçalho secundário.

Ambari

Serviço Nós Porta Caminho da URL Protocolo
Interface do usuário da Web do Ambari Nós de cabeçalho 8080 / HTTP
API REST do Ambari Nós de cabeçalho 8080 /api/v1 HTTP

Exemplos:

  • API REST do Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Portas HDFS

Serviço Nós Porta Protocolo Descrição
Interface de usuário do NameNode na Web Nós de cabeçalho 30070 HTTPS Interface do usuário na Web para exibir status
Serviço de metadados NameNode Nós de cabeçalho 8020 IPC Metadados do sistema de arquivos
DataNode Todos os nós de trabalho 30075 HTTPS IU da Web para exibir status, logs e mais.
DataNode Todos os nós de trabalho 30010   Transferência de dados
DataNode Todos os nós de trabalho 30020 IPC Operações de metadados
NameNode secundário Nós de cabeçalho 50090 HTTP Ponto de verificação para metadados do NameNode

Portas YARN

Serviço Nós Porta Protocolo Descrição
Interface de usuário na Web do Resource Manager Nós de cabeçalho 8088 HTTP Interface de usuário na Web do Resource Manager
Interface de usuário na Web do Resource Manager Nós de cabeçalho 8090 HTTPS Interface de usuário na Web do Resource Manager
Interface administrativa do Resource Manager Nós de cabeçalho 8141 IPC Para envios de aplicativo (Hive, servidor Hive, Pig e mais.)
Agendador do Resource Manager Nós de cabeçalho 8030 HTTP Interface administrativa
Interface de aplicativo do Resource Manager Nós de cabeçalho 8050 HTTP Endereço da interface do gerenciador de aplicativos
NodeManager Todos os nós de trabalho 30050   O endereço do gerenciador de contêineres
Interface de usuário na Web do NodeManager Todos os nós de trabalho 30060 HTTP Interface do Resource Manager
Endereço do Timeline Nós de cabeçalho 10200 RPC O serviço RPC do serviço do Timeline.
Interface de usuário na Web do Timeline Nós de cabeçalho 8188 HTTP Interface de usuário na Web do Timeline

Portas Hive

Serviço Nós Porta Protocolo Descrição
HiveServer2 Nós de cabeçalho 10001 Thrift Serviço para conexão ao Hive (Thrift/JDBC)
Metastore do Hive Nós de cabeçalho 9083 Thrift Serviço para conexão a metadados do Hive (Thrift/JDBC)

Portas WebHCat

Serviço Nós Porta Protocolo Descrição
Servidor WebHCat Nós de cabeçalho 30111 HTTP API Web sobre o HCatalog e outros serviços do Hadoop

Portas MapReduce

Serviço Nós Porta Protocolo Descrição
JobHistory Nós de cabeçalho 19888 HTTP Interface de usuário na Web JobHistory do MapReduce
JobHistory Nós de cabeçalho 10020   Servidor JobHistory do MapReduce
ShuffleHandler   13562   Transfere saídas intermediárias Map para redutores de solicitação

Oozie

Serviço Nós Porta Protocolo Descrição
Servidor Oozie Nós de cabeçalho 11000 HTTP URL para o serviço do Oozie
Servidor Oozie Nós de cabeçalho 11001 HTTP Porta para administração do Oozie

Métricas do Ambari

Serviço Nós Porta Protocolo Descrição
TimeLine (histórico do aplicativo) Nós de cabeçalho 6188 HTTP Interface de usuário na Web do Timeline
TimeLine (histórico do aplicativo) Nós de cabeçalho 30200 RPC Interface de usuário na Web do Timeline

Portas HBase

Serviço Nós Porta Protocolo Descrição
HMaster Nós de cabeçalho 16000    
Interface de usuário na Web para informações do HMaster Nós de cabeçalho 16010 HTTP A porta para a interface de usuário na Web Mestre do HBase
Servidor de região Todos os nós de trabalho 16020  
Interface do usuário da Web de informações do servidor de região  Todos os nós de trabalho 16030 HTTP A porta para a interface do usuário da Web do servidor da Região do HBase
2181 A porta que os clientes usam para se conectar ao ZooKeeper

Portas Kafka

Serviço Nós Porta Protocolo Descrição
Agente Nós de trabalho 9092 Protocolo Kafka Wire Usado para comunicação do cliente
  Nós do Zookeeper 2181   A porta que os clientes usam para se conectar ao ZooKeeper
Proxy REST Nós de gerenciamento do Kafka 9400 HTTPS Especificação da REST do Kafka

Portas do Spark

Serviço Nós Porta Protocolo Caminho da URL Descrição
Servidores Thrift Spark Nós de cabeçalho 10002 Thrift   Serviço para conexão ao Spark SQL (Thrift/JDBC)
Servidor Livy Nós de cabeçalho 8998 HTTP   Serviço para executar instruções, trabalhos e aplicativos
Jupyter Notebook Nós de cabeçalho 8001 HTTP   Site do Jupyter Notebook

Exemplos:

  • Livy: curl -u admin -G "http://10.0.0.11:8998/". Nesse exemplo, 10.0.0.11 é o endereço IP do nó de cabeçalho que hospeda o serviço Livy.