HDInsight의 Apache Hadoop 서비스에서 사용하는 포트
이 문서에서는 HDInsight 클러스터에서 실행되는 Apache Hadoop 서비스에 사용되는 포트의 목록을 제공합니다. 또한 SSH를 사용하여 클러스터에 연결하는 데 사용된 포트에 대한 정보도 제공합니다.
공용 포트 및 비-공용 포트
Linux 기반 HDInsight 클러스터는 인터넷에서 세 포트(22, 23, 443)만 공개적으로 노출합니다. 이러한 포트는 SSH 및 보안 HTTPS 프로토콜을 통해 노출된 서비스를 사용하여 클러스터 액세스를 보호합니다.
HDInsight는 Azure Virtual Network에서 실행되는 여러 Azure Virtual Machines(클러스터 노드)에 의해 구현됩니다. 가상 네트워크 내에서 인터넷을 통해 노출되지 않은 포트를 액세스할 수 있습니다. SSH를 통해 헤드 노드에 연결하는 경우, 클러스터 노드에서 실행 중인 서비스에 직접 액세스할 수 있습니다.
Important
HDInsight의 구성 옵션으로 Azure Virtual Network를 지정하지 않을 경우 하나는 자동으로 생성됩니다. 단, 다른 머신(예: 다른 Azure Virtual Machines 또는 클라이언트 개발 머신 등)은 이 가상 네트워크에 조인할 수 없습니다.
추가 컴퓨터를 가상 네트워크에 조인하려면 먼저 가상 네트워크를 만든 후 HDInsight 클러스터를 만들 때 이를 지정해야 합니다. 자세한 내용은 HDInsight에 대한 가상 네트워크 계획을 참조하세요.
공용 포트
HDInsight 클러스터의 모든 노드는 Azure Virtual Network에 있습니다. 노드는 인터넷에서 직접 액세스할 수 없습니다. 공용 게이트웨이는 모든 HDInsight 클러스터 유형에 대해 일반적인 다음 포트에 대한 인터넷 액세스를 제공합니다.
| 서비스 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|
| sshd | 22 | SSH | 기본 헤드 노드에서 sshd에 클라이언트를 연결합니다. 자세한 내용은 HDInsight와 함께 SSH 사용을 참조하세요. |
| sshd | 22 | SSH | 에지 노드에서 클라이언트를 sshd에 연결합니다. 자세한 내용은 HDInsight와 함께 SSH 사용을 참조하세요. |
| sshd | 23 | SSH | 보조 헤드 노드에서 sshd에 클라이언트를 연결합니다. 자세한 내용은 HDInsight와 함께 SSH 사용을 참조하세요. |
| Ambari | 443 | HTTPS | Ambari 웹 UI. Apache Ambari 웹 UI를 사용하여 HDInsight 관리를 참조하세요. |
| Ambari | 443 | HTTPS | Ambari REST API. Apache Ambari REST API를 사용하여 HDInsight 관리를 참조하세요. |
| WebHCat | 443 | HTTPS | HCatalog REST API. Curl을 통한 MapReduce 사용을 참조하세요. |
| HiveServer2 | 443 | ODBC | ODBC를 사용하여 Hive에 연결합니다. Microsoft ODBC 드라이버로 HDInsight에 Excel 연결을 참조하세요. |
| HiveServer2 | 443 | JDBC | JDBC를 사용하여 Apache Hive에 연결합니다. Hive JDBC 드라이버를 사용하여 HDInsight에서 Apache Hive에 연결을 참조하세요. |
다음은 특정 클러스터 유형에 대해 사용할 수 있습니다.
| 서비스 | 포트 | 프로토콜 | 클러스터 유형 | 설명 |
|---|---|---|---|---|
Stargate |
443 | HTTPS | HBase | HBase REST API. Apache HBase 사용 시작을 참조하세요. |
| Livy | 443 | HTTPS | Spark | Spark REST API. Apache Livy를 사용하여 원격으로 Apache Spark 작업 제출을 참조하세요. |
| Spark Thrift 서버 | 443 | HTTPS | Spark | Hive 쿼리를 전송하는 데 사용되는 Spark Thrift 서버입니다. HDInsight의 Apache Hive에 Beeline 사용을 참조하세요. |
| Kafka REST 프록시 | 443 | HTTPS | Kafka | Kafka REST API. REST 프록시를 사용하여 Azure HDInsight에서 Apache Kafka 클러스터와 상호 작용을 참조하세요. |
인증
인터넷에서 공개적으로 노출되는 모든 서비스를 인증해야 합니다.
| 포트 | 자격 증명 |
|---|---|
| 22 또는 23 | 클러스터를 만드는 동안 지정된 SSH 사용자 자격 증명 |
| 443 | 클러스터를 만드는 동안 설정된 로그인 이름(기본값: admin) 및 암호 |
비-공용 포트
참고 항목
일부 서비스는 특정 클러스터 형식에서만 사용할 수 있습니다. 예를 들어 HBase는 HBase 클러스터 형식에서만 사용할 수 있습니다.
Important
일부 서비스는 한 번에 하나의 헤드 노드에서만 실행됩니다. 기본 헤드 노드에서 서비스에 연결하려고 하는데 오류가 수신되면 보조 헤드 노드에 사용하여 다시 시도하세요.
Ambari
| 서비스 | 노드 | 포트 | URL 경로 | 프로토콜 |
|---|---|---|---|---|
| Ambari 웹 UI | 헤드 노드 | 8080 | / | HTTP |
| Ambari REST API | 헤드 노드 | 8080 | /api/v1 | HTTP |
예:
- Ambari REST API:
curl -u admin "http://10.0.0.11:8080/api/v1/clusters"
HDFS 포트
| 서비스 | 노드 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|---|
| NameNode 웹 UI | 헤드 노드 | 30070 | HTTPS | 상태를 보기 위한 웹 UI |
| NameNode 메타데이터 서비스 | 헤드 노드 | 8020 | IPC | 파일 시스템 메타데이터 |
| DataNode | 모든 작업자 노드 | 30075 | HTTPS | 상태, 로그 등을 볼 수 있는 웹 UI입니다. |
| DataNode | 모든 작업자 노드 | 30010 | 데이터 전송 | |
| DataNode | 모든 작업자 노드 | 30020 | IPC | 메타데이터 작업 |
| 보조 NameNode | 헤드 노드 | 50090 | HTTP | NameNode 메타데이터에 대한 검사점 |
YARN 포트
| 서비스 | 노드 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|---|
| Resource Manager 웹 UI | 헤드 노드 | 8088 | HTTP | Resource Manager용 웹 UI |
| Resource Manager 웹 UI | 헤드 노드 | 8090 | HTTPS | Resource Manager용 웹 UI |
| Resource Manager 관리 인터페이스 | 헤드 노드 | 8141 | IPC | 애플리케이션 제출의 경우(Hive, Hive 서버, Pig 등) |
| Resource Manager 스케줄러 | 헤드 노드 | 8030 | HTTP | 관리 인터페이스 |
| Resource Manager 애플리케이션 인터페이스 | 헤드 노드 | 8050 | HTTP | 애플리케이션 관리자 인터페이스의 주소 |
| NodeManager | 모든 작업자 노드 | 30050 | 컨테이너 관리자의 주소 | |
| NodeManager 웹 UI | 모든 작업자 노드 | 30060 | HTTP | Resource Manager 인터페이스 |
| 타임라인 주소 | 헤드 노드 | 10200 | RPC | 타임라인 서비스 RPC 서비스. |
| 타임라인 웹 UI | 헤드 노드 | 8188 | HTTP | 타임라인 서비스 웹 UI |
Hive 포트
| 서비스 | 노드 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|---|
| HiveServer2 | 헤드 노드 | 10001 | Thrift | Hive에 연결하기 위한 서비스(Thrift/JDBC) |
| Hive 메타스토어 | 헤드 노드 | 9083 | Thrift | Hive 메타데이터에 연결하기 위한 서비스(Thrift/JDBC) |
WebHCat 포트
| 서비스 | 노드 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|---|
| WebHCat 서버 | 헤드 노드 | 30111 | HTTP | HCatalog 및 기타 Hadoop 서비스 맨 위의 웹 API |
MapReduce 포트
| 서비스 | 노드 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|---|
| JobHistory | 헤드 노드 | 19888 | HTTP | MapReduce JobHistory 웹 UI |
| JobHistory | 헤드 노드 | 10020 | MapReduce JobHistory 서버 | |
| ShuffleHandler | 13562 | 중간 맵 출력을 요청 리듀서에 전송 |
Oozie
| 서비스 | 노드 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|---|
| Oozie 서버 | 헤드 노드 | 11000 | HTTP | Oozie 서비스에 대한 URL |
| Oozie 서버 | 헤드 노드 | 11001 | HTTP | Oozie 관리자에 대한 포트 |
Ambari 메트릭
| 서비스 | 노드 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|---|
| 타임라인(애플리케이션 기록) | 헤드 노드 | 6188 | HTTP | 타임라인 서비스 웹 UI |
| 타임라인(애플리케이션 기록) | 헤드 노드 | 30200 | RPC | 타임라인 서비스 웹 UI |
HBase 포트
| 서비스 | 노드 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|---|
| HMaster | 헤드 노드 | 16000 | ||
| HMaster 정보 웹 UI | 헤드 노드 | 16010 | HTTP | HBase 마스터 웹 UI에 대한 포트 |
| Region 서버 | 모든 작업자 노드 | 16020 | ||
| 지역 서버 정보 웹 UI | 모든 작업자 노드 | 16030 | HTTP | HBase 지역 서버 웹 UI용 포트 |
| 2181 | 클라이언트가 ZooKeeper 연결에 사용하는 포트 |
Kafka 포트
| 서비스 | 노드 | 포트 | 프로토콜 | 설명 |
|---|---|---|---|---|
| Broker | 작업자 노드 | 9092 | Kafka 유선 프로토콜 | 클라이언트 통신에 사용됨 |
| Zookeeper 노드 | 2181 | 클라이언트가 ZooKeeper 연결에 사용하는 포트 | ||
| REST 프록시 | Kafka 관리 노드 | 9400 | HTTPS | Kafka REST 사양 |
Spark 포트
| 서비스 | 노드 | 포트 | 프로토콜 | URL 경로 | 설명 |
|---|---|---|---|---|---|
| Spark Thrift 서버 | 헤드 노드 | 10002 | Thrift | Spark SQL에 연결하기 위한 서비스(Thrift/JDBC) | |
| Livy 서버 | 헤드 노드 | 8998 | HTTP | 문, 작업 및 애플리케이션을 실행하기 위한 서비스 | |
| Jupyter Notebook | 헤드 노드 | 8001 | HTTP | Jupyter Notebook 웹 사이트 |
예:
- Livy:
curl -u admin -G "http://10.0.0.11:8998/". 이 예제에서10.0.0.11은 Livy 서비스를 호스트하는 헤드 노드의 IP 주소입니다.