Бөлісу құралы:


Порты, используемые службами Apache Hadoop в HDInsight

В этом документе представлен список портов, которые используются службами Apache Hadoop, работающими в кластерах HDInsight. Кроме того, в статье содержатся сведения о портах, которые используются для подключения к кластеру с помощью протокола SSH.

Общедоступные и необщедоступные порты

Кластеры HDInsight под управлением Linux предоставляют только три общедоступных порта для трафика Интернета: 22, 23 и 443. Эти порты обеспечивают безопасный доступ к кластеру через SSH и с помощью служб, предоставляемых по защищенному протоколу HTTPS.

HDInsight реализуется несколькими виртуальными машинами Azure (узлами кластера), которые работают в виртуальной сети Azure. Из виртуальной сети вы можете получить доступ к портам, недоступным из Интернета. При подключении по протоколу SSH к головному узлу можно напрямую получить доступ к службам, работающим на узлах кластера.

Важно!

Если не указать виртуальную сеть Azure с помощью параметра конфигурации для HDInsight, она будет создана автоматически. Тем не менее к этой виртуальной сети невозможно присоединить другие компьютеры (например, другие виртуальные машины Azure или клиентский компьютер разработки).

Чтобы присоединить дополнительные компьютеры к виртуальной сети, необходимо сначала создать виртуальную сеть, а затем указать ее при создании кластера HDInsight. Дополнительные сведения см. в статье Планирование развертывания виртуальной сети для кластеров Azure HDInsight.

Общедоступные порты

Все узлы в кластере HDInsight расположены в виртуальной сети Azure. Получить доступ к ним напрямую из Интернета невозможно. Общедоступный шлюз обеспечивает интернет-доступ к приведенным ниже портам. Они общие для всех типов кластеров HDInsight.

Служба Порт Протокол Описание
sshd 22 SSH Подключает клиенты к sshd на основном головном узле. Дополнительные сведения см. в статье Использование SSH с Hadoop на основе Linux в HDInsight из Linux, Unix или OS X.
sshd 22 SSH Подключает клиенты к SSHD на граничном узле. Дополнительные сведения см. в статье Использование SSH с Hadoop на основе Linux в HDInsight из Linux, Unix или OS X.
sshd 23 SSH Подключает клиенты к sshd на дополнительном головном узле. Дополнительные сведения см. в статье Использование SSH с Hadoop на основе Linux в HDInsight из Linux, Unix или OS X.
Ambari 443 HTTPS Веб-интерфейс Ambari. Дополнительные сведения см. в статье Управление кластерами HDInsight с помощью веб-интерфейса Ambari.
Ambari 443 HTTPS REST API Ambari. Дополнительные сведения см. в статье Управление кластерами HDInsight с помощью REST API Ambari.
WebHCat 443 HTTPS HCatalog REST API. Дополнительные сведения см. в статье Использование MapReduce с Curl.
HiveServer2 443 ODBC Подключение к Hive с помощью ODBC. См. статью Подключение Excel к Hadoop с помощью драйвера Microsoft Hive ODBC.
HiveServer2 443 JDBC Подключение к ApacheHive с помощью JDBC. Дополнительные сведения см. в статье Отправка запросов в Apache Hive с помощью драйвера JDBC в HDInsight.

Приведенные ниже сведения доступны для определенных типов кластеров.

Служба Порт Протокол Тип кластера Описание
Stargate 443 HTTPS HBase REST API HBase. Дополнительные сведения см. в статье Начало работы с примером Apache HBase в HDInsight.
Livy 443 HTTPS Spark Spark REST API. Дополнительные сведения см. в статье Удаленная отправка заданий Spark в кластер Azure HDInsight с помощью Apache Spark REST API
Сервер Thrift Spark 443 HTTPS Spark Сервер Thrift Spark, который используется для отправки запросов Hive. Дополнительные сведения см. в статье Использование клиента Apache Beeline с Apache Hive.
Прокси-сервер REST для Kafka 443 HTTPS Kafka REST API Kafka. Дополнительные сведения см. в статье Взаимодействие с кластерами Apache Kafka в Azure HDInsight через прокси-сервер REST.

Аутентификация

Все общедоступные службы в Интернете должны проходить проверку подлинности.

Порт Учетные данные
22 или 23 Учетные данные пользователя SSH, указанные при создании кластера.
443 Имя для входа (по умолчанию — admin) и пароль, указанные при создании кластера.

Необщедоступные порты

Примечание

Некоторые службы доступны только в кластерах определенных типов. Например, служба HBase доступна только на кластерах типа HBase.

Важно!

Некоторые службы могут работать только на одном головном узле одновременно. Если вы пытаетесь подключиться к службе на основном головном узле и получаете сообщение об ошибке, повторите попытку, используя вторичный головной узел.

Ambari

Служба Узлы Порт URL-адрес Протокол
Веб-интерфейс Ambari Головные узлы 8080 / HTTP
Ambari REST API Головные узлы 8080 /api/v1 HTTP

Примеры:

  • Ambari REST API: curl -u admin "http://10.0.0.11:8080/api/v1/clusters"

Порты HDFS

Служба Узлы Порт Протокол Описание
Веб-интерфейс узла имен Головные узлы 30070 HTTPS Пользовательский веб-интерфейс для просмотра состояния.
Служба метаданных на узле имен Головные узлы 8020 IPC Метаданные файловой системы
Узел данных Все рабочие узлы 30075 HTTPS Веб-интерфейс для просмотра состояния, журналов и т. д.
Узел данных Все рабочие узлы 30010   Передача данных
Узел данных Все рабочие узлы 30020 IPC Операции с метаданными
Дополнительный узел имен Головные узлы 50090 HTTP Контрольная точка для метаданных узла имен

Порты YARN

Служба Узлы Порт Протокол Описание
Веб-интерфейс для диспетчера Resource Manager Головные узлы 8088 HTTP Веб-интерфейс для диспетчера Resource Manager
Веб-интерфейс для диспетчера Resource Manager Головные узлы 8090 HTTPS Веб-интерфейс для диспетчера Resource Manager
Интерфейс администратора для Resource Manager Головные узлы 8141 IPC Для отправки приложений (Hive, Hive Server, Pig и т. д.)
Планировщик Resource Manager Головные узлы 8030 HTTP Интерфейс администратора
Интерфейс приложения Resource Manager Головные узлы 8050 HTTP Адрес интерфейса диспетчера приложений
Диспетчер узлов Все рабочие узлы 30050   Адрес диспетчера контейнеров
Веб-интерфейс диспетчера узлов Все рабочие узлы 30060 HTTP Интерфейс Resource Manager
Адрес временной шкалы Головные узлы 10200 RPC Служба RPC службы временной шкалы
Веб-интерфейс временной шкалы Головные узлы 8188 HTTP Веб-интерфейс службы временной шкалы

Порты Hive

Служба Узлы Порт Протокол Описание
HiveServer2 Головные узлы 10001 Thrift Служба для подключения к Hive (с помощью протокола Thrift или JDBC)
Метахранилище Hive Головные узлы 9083 Thrift Служба для подключения к метаданным Hive (с помощью протокола Thrift или JDBC)

Порты WebHCat

Служба Узлы Порт Протокол Описание
Сервер WebHCat Головные узлы 30111 HTTP Веб-API поверх HCatalog и других служб Hadoop

Порты MapReduce

Служба Узлы Порт Протокол Описание
Журнал заданий Головные узлы 19888 HTTP Веб-интерфейс журнала заданий MapReduce
Журнал заданий Головные узлы 10020   Сервер журнала заданий MapReduce
Обработчик перемещений   13562   Передача промежуточных выходных данных сопоставления в адрес запрашивающих редукторов

Oozie,

Служба Узлы Порт Протокол Описание
Сервер Oozie Головные узлы 11000 HTTP URL-адрес службы Oozie
Сервер Oozie Головные узлы 11001 HTTP Порт для администрирования Oozie

Метрики Ambari

Служба Узлы Порт Протокол Описание
Временная шкала (журнал приложения) Головные узлы 6188 HTTP Веб-интерфейс службы временной шкалы
Временная шкала (журнал приложения) Головные узлы 30200 RPC Веб-интерфейс службы временной шкалы

Порты HBase

Служба Узлы Порт Протокол Описание
HMaster Головные узлы 16000    
Веб-интерфейс информационного сервера HMaster Головные узлы 16010 HTTP Порт для веб-интерфейса на главном узле HBase
Региональный сервер Все рабочие узлы 16020  
Пользовательский веб-интерфейс сведений о сервере региона  Все рабочие узлы 16030 HTTP Порт для пользовательского веб-интерфейса сервера региона HBase
2181 Порт, используемый клиентами для подключения к ZooKeeper

Порты Kafka

Служба Узлы Порт Протокол Описание
Broker Рабочие узлы 9092 Сетевой протокол Kafka Используется для связи с клиентами
  Узлы Zookeeper 2181   Порт, используемый клиентами для подключения к ZooKeeper
Прокси-сервер REST Узлы управления Kafka 9400 HTTPS Спецификация REST Kafka

Порты Spark

Служба Узлы Порт Протокол URL-адрес Описание
Серверы Thrift Spark Головные узлы 10002 Thrift   Служба для подключения к Spark SQL (с помощью протокола Thrift или JDBC)
Сервер Livy Головные узлы 8998 HTTP   Служба для запуска инструкций, заданий и приложений
Портативный компьютер Jupyter Головные узлы 8001 HTTP   Веб-сайт записных книжек Jupyter

Примеры:

  • Livy: curl -u admin -G "http://10.0.0.11:8998/". В этом примере 10.0.0.11 — IP-адрес головного узла, на котором размещена служба Livy.