Порты, используемые службами Apache Hadoop в HDInsight
В этом документе представлен список портов, которые используются службами Apache Hadoop, работающими в кластерах HDInsight. Кроме того, в статье содержатся сведения о портах, которые используются для подключения к кластеру с помощью протокола SSH.
Общедоступные и необщедоступные порты
Кластеры HDInsight под управлением Linux предоставляют только три общедоступных порта для трафика Интернета: 22, 23 и 443. Эти порты обеспечивают безопасный доступ к кластеру через SSH и с помощью служб, предоставляемых по защищенному протоколу HTTPS.
HDInsight реализуется несколькими виртуальными машинами Azure (узлами кластера), которые работают в виртуальной сети Azure. Из виртуальной сети вы можете получить доступ к портам, недоступным из Интернета. При подключении по протоколу SSH к головному узлу можно напрямую получить доступ к службам, работающим на узлах кластера.
Важно!
Если не указать виртуальную сеть Azure с помощью параметра конфигурации для HDInsight, она будет создана автоматически. Тем не менее к этой виртуальной сети невозможно присоединить другие компьютеры (например, другие виртуальные машины Azure или клиентский компьютер разработки).
Чтобы присоединить дополнительные компьютеры к виртуальной сети, необходимо сначала создать виртуальную сеть, а затем указать ее при создании кластера HDInsight. Дополнительные сведения см. в статье Планирование развертывания виртуальной сети для кластеров Azure HDInsight.
Общедоступные порты
Все узлы в кластере HDInsight расположены в виртуальной сети Azure. Получить доступ к ним напрямую из Интернета невозможно. Общедоступный шлюз обеспечивает интернет-доступ к приведенным ниже портам. Они общие для всех типов кластеров HDInsight.
| Служба | Порт | Протокол | Описание |
|---|---|---|---|
| sshd | 22 | SSH | Подключает клиенты к sshd на основном головном узле. Дополнительные сведения см. в статье Использование SSH с Hadoop на основе Linux в HDInsight из Linux, Unix или OS X. |
| sshd | 22 | SSH | Подключает клиенты к SSHD на граничном узле. Дополнительные сведения см. в статье Использование SSH с Hadoop на основе Linux в HDInsight из Linux, Unix или OS X. |
| sshd | 23 | SSH | Подключает клиенты к sshd на дополнительном головном узле. Дополнительные сведения см. в статье Использование SSH с Hadoop на основе Linux в HDInsight из Linux, Unix или OS X. |
| Ambari | 443 | HTTPS | Веб-интерфейс Ambari. Дополнительные сведения см. в статье Управление кластерами HDInsight с помощью веб-интерфейса Ambari. |
| Ambari | 443 | HTTPS | REST API Ambari. Дополнительные сведения см. в статье Управление кластерами HDInsight с помощью REST API Ambari. |
| WebHCat | 443 | HTTPS |
HCatalog REST API. Дополнительные сведения см. в статье Использование MapReduce с Curl. |
| HiveServer2 | 443 | ODBC | Подключение к Hive с помощью ODBC. См. статью Подключение Excel к Hadoop с помощью драйвера Microsoft Hive ODBC. |
| HiveServer2 | 443 | JDBC | Подключение к ApacheHive с помощью JDBC. Дополнительные сведения см. в статье Отправка запросов в Apache Hive с помощью драйвера JDBC в HDInsight. |
Приведенные ниже сведения доступны для определенных типов кластеров.
| Служба | Порт | Протокол | Тип кластера | Описание |
|---|---|---|---|---|
Stargate |
443 | HTTPS | HBase | REST API HBase. Дополнительные сведения см. в статье Начало работы с примером Apache HBase в HDInsight. |
| Livy | 443 | HTTPS | Spark | Spark REST API. Дополнительные сведения см. в статье Удаленная отправка заданий Spark в кластер Azure HDInsight с помощью Apache Spark REST API |
| Сервер Thrift Spark | 443 | HTTPS | Spark | Сервер Thrift Spark, который используется для отправки запросов Hive. Дополнительные сведения см. в статье Использование клиента Apache Beeline с Apache Hive. |
| Прокси-сервер REST для Kafka | 443 | HTTPS | Kafka | REST API Kafka. Дополнительные сведения см. в статье Взаимодействие с кластерами Apache Kafka в Azure HDInsight через прокси-сервер REST. |
Аутентификация
Все общедоступные службы в Интернете должны проходить проверку подлинности.
| Порт | Учетные данные |
|---|---|
| 22 или 23 | Учетные данные пользователя SSH, указанные при создании кластера. |
| 443 | Имя для входа (по умолчанию — admin) и пароль, указанные при создании кластера. |
Необщедоступные порты
Примечание
Некоторые службы доступны только в кластерах определенных типов. Например, служба HBase доступна только на кластерах типа HBase.
Важно!
Некоторые службы могут работать только на одном головном узле одновременно. Если вы пытаетесь подключиться к службе на основном головном узле и получаете сообщение об ошибке, повторите попытку, используя вторичный головной узел.
Ambari
| Служба | Узлы | Порт | URL-адрес | Протокол |
|---|---|---|---|---|
| Веб-интерфейс Ambari | Головные узлы | 8080 | / | HTTP |
| Ambari REST API | Головные узлы | 8080 | /api/v1 | HTTP |
Примеры:
- Ambari REST API:
curl -u admin "http://10.0.0.11:8080/api/v1/clusters"
Порты HDFS
| Служба | Узлы | Порт | Протокол | Описание |
|---|---|---|---|---|
| Веб-интерфейс узла имен | Головные узлы | 30070 | HTTPS | Пользовательский веб-интерфейс для просмотра состояния. |
| Служба метаданных на узле имен | Головные узлы | 8020 | IPC | Метаданные файловой системы |
| Узел данных | Все рабочие узлы | 30075 | HTTPS | Веб-интерфейс для просмотра состояния, журналов и т. д. |
| Узел данных | Все рабочие узлы | 30010 | Передача данных | |
| Узел данных | Все рабочие узлы | 30020 | IPC | Операции с метаданными |
| Дополнительный узел имен | Головные узлы | 50090 | HTTP | Контрольная точка для метаданных узла имен |
Порты YARN
| Служба | Узлы | Порт | Протокол | Описание |
|---|---|---|---|---|
| Веб-интерфейс для диспетчера Resource Manager | Головные узлы | 8088 | HTTP | Веб-интерфейс для диспетчера Resource Manager |
| Веб-интерфейс для диспетчера Resource Manager | Головные узлы | 8090 | HTTPS | Веб-интерфейс для диспетчера Resource Manager |
| Интерфейс администратора для Resource Manager | Головные узлы | 8141 | IPC | Для отправки приложений (Hive, Hive Server, Pig и т. д.) |
| Планировщик Resource Manager | Головные узлы | 8030 | HTTP | Интерфейс администратора |
| Интерфейс приложения Resource Manager | Головные узлы | 8050 | HTTP | Адрес интерфейса диспетчера приложений |
| Диспетчер узлов | Все рабочие узлы | 30050 | Адрес диспетчера контейнеров | |
| Веб-интерфейс диспетчера узлов | Все рабочие узлы | 30060 | HTTP | Интерфейс Resource Manager |
| Адрес временной шкалы | Головные узлы | 10200 | RPC | Служба RPC службы временной шкалы |
| Веб-интерфейс временной шкалы | Головные узлы | 8188 | HTTP | Веб-интерфейс службы временной шкалы |
Порты Hive
| Служба | Узлы | Порт | Протокол | Описание |
|---|---|---|---|---|
| HiveServer2 | Головные узлы | 10001 | Thrift | Служба для подключения к Hive (с помощью протокола Thrift или JDBC) |
| Метахранилище Hive | Головные узлы | 9083 | Thrift | Служба для подключения к метаданным Hive (с помощью протокола Thrift или JDBC) |
Порты WebHCat
| Служба | Узлы | Порт | Протокол | Описание |
|---|---|---|---|---|
| Сервер WebHCat | Головные узлы | 30111 | HTTP | Веб-API поверх HCatalog и других служб Hadoop |
Порты MapReduce
| Служба | Узлы | Порт | Протокол | Описание |
|---|---|---|---|---|
| Журнал заданий | Головные узлы | 19888 | HTTP | Веб-интерфейс журнала заданий MapReduce |
| Журнал заданий | Головные узлы | 10020 | Сервер журнала заданий MapReduce | |
| Обработчик перемещений | 13562 | Передача промежуточных выходных данных сопоставления в адрес запрашивающих редукторов |
Oozie,
| Служба | Узлы | Порт | Протокол | Описание |
|---|---|---|---|---|
| Сервер Oozie | Головные узлы | 11000 | HTTP | URL-адрес службы Oozie |
| Сервер Oozie | Головные узлы | 11001 | HTTP | Порт для администрирования Oozie |
Метрики Ambari
| Служба | Узлы | Порт | Протокол | Описание |
|---|---|---|---|---|
| Временная шкала (журнал приложения) | Головные узлы | 6188 | HTTP | Веб-интерфейс службы временной шкалы |
| Временная шкала (журнал приложения) | Головные узлы | 30200 | RPC | Веб-интерфейс службы временной шкалы |
Порты HBase
| Служба | Узлы | Порт | Протокол | Описание |
|---|---|---|---|---|
| HMaster | Головные узлы | 16000 | ||
| Веб-интерфейс информационного сервера HMaster | Головные узлы | 16010 | HTTP | Порт для веб-интерфейса на главном узле HBase |
| Региональный сервер | Все рабочие узлы | 16020 | ||
| Пользовательский веб-интерфейс сведений о сервере региона | Все рабочие узлы | 16030 | HTTP | Порт для пользовательского веб-интерфейса сервера региона HBase |
| 2181 | Порт, используемый клиентами для подключения к ZooKeeper |
Порты Kafka
| Служба | Узлы | Порт | Протокол | Описание |
|---|---|---|---|---|
| Broker | Рабочие узлы | 9092 | Сетевой протокол Kafka | Используется для связи с клиентами |
| Узлы Zookeeper | 2181 | Порт, используемый клиентами для подключения к ZooKeeper | ||
| Прокси-сервер REST | Узлы управления Kafka | 9400 | HTTPS | Спецификация REST Kafka |
Порты Spark
| Служба | Узлы | Порт | Протокол | URL-адрес | Описание |
|---|---|---|---|---|---|
| Серверы Thrift Spark | Головные узлы | 10002 | Thrift | Служба для подключения к Spark SQL (с помощью протокола Thrift или JDBC) | |
| Сервер Livy | Головные узлы | 8998 | HTTP | Служба для запуска инструкций, заданий и приложений | |
| Портативный компьютер Jupyter | Головные узлы | 8001 | HTTP | Веб-сайт записных книжек Jupyter |
Примеры:
- Livy:
curl -u admin -G "http://10.0.0.11:8998/". В этом примере10.0.0.11— IP-адрес головного узла, на котором размещена служба Livy.