Portas usadas pelos serviços do Apache Hadoop em execução no HDInsight

Artigo
09/06/2024

Este documento fornece uma lista das portas usadas pelos serviços do Apache Hadoop em execução nos clusters HDInsight. Ele também fornece informações sobre portas usadas para se conectar ao cluster usando SSH.

Portas públicas versus portas não públicas

Os clusters HDInsight baseados em Linux expõem apenas três portas publicamente na Internet: 22, 23 e 443. Essas portas protegem o acesso ao cluster usando SSH e serviços expostos pelo protocolo HTTPS seguro.

O HDInsight é implementado por várias Máquinas Virtuais do Azure (os nós de cluster) em execução em uma Rede Virtual do Azure. Dentro da rede virtual, você pode acessar portas não expostas pela Internet. Se você se conectar via SSH ao nó principal, poderá acessar diretamente os serviços em execução nos nós de cluster.

Importante

Se você não especificar uma Rede Virtual do Azure como uma opção de configuração para o HDInsight, uma será criada automaticamente. No entanto, não é possível ingressar outras máquinas (como outras Máquinas Virtuais do Azure ou o computador de desenvolvimento cliente) nessa rede virtual.

Para ingressar mais computadores na rede virtual, primeiramente é preciso criar a rede virtual e depois especificá-la na criação do cluster HDInsight. Para obter mais informações, confira Planejar uma rede virtual para HDInsight.

Portas públicas

Todos os nós em um cluster HDInsight ficam localizados em uma Rede Virtual do Azure. Os nós não podem ser acessados diretamente pela Internet. Um gateway público fornece acesso à internet para as portas a seguir, que são comuns a todos os tipos de cluster HDInsight.

Serviço	Porta	Protocolo	Descrição
sshd	22	SSH	Conecta os clientes a sshd no nó de cabeçalho primário. Para obter mais informações, confira Usar SSH com HDInsight.
sshd	22	SSH	Conecta clientes ao sshd no nó de borda. Para obter mais informações, confira Usar SSH com HDInsight.
sshd	23	SSH	Conecta os clientes a sshd no nó de cabeçalho secundário. Para obter mais informações, confira Usar SSH com HDInsight.
Ambari	443	HTTPS	Interface de usuário da Web do Ambari. Veja Gerenciar HDInsight usando a interface do usuário da Web do Apache Ambari
Ambari	443	HTTPS	API REST do Ambari. Veja Gerenciar HDInsight usando a API REST do Apache Ambari
WebHCat	443	HTTPS	`HCatalog`API REST. Consulte Usar MapReduce com Ondulação
HiveServer2	443	ODBC	Conecta-se ao Hive usando ODBC. Confira Connect Excel to HDInsight with the Microsoft ODBC driver (Conectar o Excel ao HDInsight com o driver ODBC da Microsoft).
HiveServer2	443	JDBC	Conecta-se ao ApacheHive usando JDBC. Veja Conectar-se ao Apache Hive no Azure HDInsight usando o driver JDBC do Hive

Veja a seguir os tipos de cluster específicos que estão disponíveis:

Serviço	Porta	Protocolo	Tipo de cluster	Descrição
`Stargate`	443	HTTPS	HBase	API REST do HBase. Veja Começar a usar o Apache HBase
Livy	443	HTTPS	Spark	API REST do Spark. Veja Enviar Apache trabalhos em Spark remotamente usando Livy Apache
Servidor do Spark Thrift	443	HTTPS	Spark	Servidor do Spark Thrift usado para enviar consultas do Hive. Veja Usar o Beeline com o Apache Hive no HDInsight
Proxy REST do Kafka	443	HTTPS	Kafka	REST API do Kafka. Veja Interagir com clusters do Apache Kafka no Azure HDInsight por meio de um proxy REST

Autenticação

Todos os serviços publicamente expostos na Internet devem ser autenticados:

Porta	Credenciais
22 ou 23	As credenciais de usuário SSH especificadas durante a criação do cluster
443	O nome de logon (padrão: admin) e a senha que foram definidos durante a criação do cluster

Portas não públicas

Observação

Alguns serviços só estão disponíveis em tipos de cluster específicos. Por exemplo, HBase só está disponível em tipos de cluster HBase.

Importante

Alguns serviços são executados somente em um nó de cabeçalho por vez. Se você tentar se conectar ao serviço em um nó de cabeçalho primário e receber um erro, tente novamente usando o nó de cabeçalho secundário.

Ambari

Serviço	Nós	Porta	Caminho da URL	Protocolo
Interface do usuário da Web do Ambari	Nós de cabeçalho	8080	/	HTTP
API REST do Ambari	Nós de cabeçalho	8080	/api/v1	HTTP

Exemplos:

API REST do Ambari: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Portas HDFS

Serviço	Nós	Porta	Protocolo	Descrição
Interface de usuário do NameNode na Web	Nós de cabeçalho	30070	HTTPS	Interface do usuário na Web para exibir status
Serviço de metadados NameNode	Nós de cabeçalho	8020	IPC	Metadados do sistema de arquivos
DataNode	Todos os nós de trabalho	30075	HTTPS	IU da Web para exibir status, logs e mais.
DataNode	Todos os nós de trabalho	30010		Transferência de dados
DataNode	Todos os nós de trabalho	30020	IPC	Operações de metadados
NameNode secundário	Nós de cabeçalho	50090	HTTP	Ponto de verificação para metadados do NameNode

Portas YARN

Serviço	Nós	Porta	Protocolo	Descrição
Interface de usuário na Web do Resource Manager	Nós de cabeçalho	8088	HTTP	Interface de usuário na Web do Resource Manager
Interface de usuário na Web do Resource Manager	Nós de cabeçalho	8090	HTTPS	Interface de usuário na Web do Resource Manager
Interface administrativa do Resource Manager	Nós de cabeçalho	8141	IPC	Para envios de aplicativo (Hive, servidor Hive, Pig e mais.)
Agendador do Resource Manager	Nós de cabeçalho	8030	HTTP	Interface administrativa
Interface de aplicativo do Resource Manager	Nós de cabeçalho	8050	HTTP	Endereço da interface do gerenciador de aplicativos
NodeManager	Todos os nós de trabalho	30050		O endereço do gerenciador de contêineres
Interface de usuário na Web do NodeManager	Todos os nós de trabalho	30060	HTTP	Interface do Resource Manager
Endereço do Timeline	Nós de cabeçalho	10200	RPC	O serviço RPC do serviço do Timeline.
Interface de usuário na Web do Timeline	Nós de cabeçalho	8188	HTTP	Interface de usuário na Web do Timeline

Portas Hive

Serviço	Nós	Porta	Protocolo	Descrição
HiveServer2	Nós de cabeçalho	10001	Thrift	Serviço para conexão ao Hive (Thrift/JDBC)
Metastore do Hive	Nós de cabeçalho	9083	Thrift	Serviço para conexão a metadados do Hive (Thrift/JDBC)

Portas WebHCat

Serviço	Nós	Porta	Protocolo	Descrição
Servidor WebHCat	Nós de cabeçalho	30111	HTTP	API Web sobre o `HCatalog` e outros serviços do Hadoop

Portas MapReduce

Serviço	Nós	Porta	Protocolo	Descrição
JobHistory	Nós de cabeçalho	19888	HTTP	Interface de usuário na Web JobHistory do MapReduce
JobHistory	Nós de cabeçalho	10020		Servidor JobHistory do MapReduce
ShuffleHandler		13562		Transfere saídas intermediárias Map para redutores de solicitação

Oozie

Serviço	Nós	Porta	Protocolo	Descrição
Servidor Oozie	Nós de cabeçalho	11000	HTTP	URL para o serviço do Oozie
Servidor Oozie	Nós de cabeçalho	11001	HTTP	Porta para administração do Oozie

Métricas do Ambari

Serviço	Nós	Porta	Protocolo	Descrição
TimeLine (histórico do aplicativo)	Nós de cabeçalho	6188	HTTP	Interface de usuário na Web do Timeline
TimeLine (histórico do aplicativo)	Nós de cabeçalho	30200	RPC	Interface de usuário na Web do Timeline

Portas HBase

Serviço	Nós	Porta	Protocolo	Descrição
HMaster	Nós de cabeçalho	16000
Interface de usuário na Web para informações do HMaster	Nós de cabeçalho	16010	HTTP	A porta para a interface de usuário na Web Mestre do HBase
Servidor de região	Todos os nós de trabalho	16020
Interface do usuário da Web de informações do servidor de região	Todos os nós de trabalho	16030	HTTP	A porta para a interface do usuário da Web do servidor da Região do HBase
		2181		A porta que os clientes usam para se conectar ao ZooKeeper

Portas Kafka

Serviço	Nós	Porta	Protocolo	Descrição
Agente	Nós de trabalho	9092	Protocolo Kafka Wire	Usado para comunicação do cliente
	Nós do Zookeeper	2181		A porta que os clientes usam para se conectar ao ZooKeeper
Proxy REST	Nós de gerenciamento do Kafka	9400	HTTPS	Especificação da REST do Kafka

Portas do Spark

Serviço	Nós	Porta	Protocolo	Descrição
Servidores Thrift Spark	Nós de cabeçalho	10002	Thrift	Serviço para conexão ao Spark SQL (Thrift/JDBC)
Servidor Livy	Nós de cabeçalho	8998	HTTP	Serviço para executar instruções, trabalhos e aplicativos
Jupyter Notebook	Nós de cabeçalho	8001	HTTP	Site do Jupyter Notebook