HDInsight 上の Apache Hadoop サービスで使用されるポート
このドキュメントでは、HDInsight クラスター上で実行されている Apache Hadoop サービスによって使用されるポートの一覧を示します。 また、SSH を使用したクラスターへの接続に使用されるポートの情報も提供します。
パブリック ポートと非パブリック ポート
Linux ベースの HDInsight クラスターでは、3 つのポートだけがインターネット上で公開されます。22、23、443 です。 これらのポートでは、SSH のほか、セキュリティで保護された HTTPS プロトコルを介して公開されるサービスを使い、クラスターへのアクセスを確保します。
HDInsight は Azure Virtual Network 上で実行される複数の Azure Virtual Machines (クラスター ノード) によって実装されます。 仮想ネットワーク内から、インターネット経由で公開されていないポートにアクセスできます。 SSH 経由でヘッド ノードに接続する場合は、クラスター ノードで実行されているサービスに直接アクセスできます。
重要
HDInsight の構成オプションとして Azure Virtual Network を指定しないと、Azure Virtual Network が自動的に作成されます。 ただし、この仮想ネットワークに他のコンピューター (他の Azure Virtual Machines やクライアント開発用コンピューターなど) を参加させることはできません。
仮想ネットワークに他のマシンを参加させるには、まず仮想ネットワークを作成し、HDInsight クラスターの作成時にその仮想ネットワークを指定する必要があります。 詳細については、「Plan a virtual network for HDInsight」 (HDInsight 用の仮想ネットワークの計画) を参照してください。
パブリック ポート
HDInsight クラスターのすべてのノードは、Azure Virtual Network 内にあります。 インターネットからノードに直接アクセスすることはできません。 パブリック ゲートウェイにより、すべての HDInsight クラスターの種類に共通する次のポートへのインターネット アクセスが提供されます。
| サービス | Port | Protocol | 説明 |
|---|---|---|---|
| sshd | 22 | SSH | プライマリ ヘッドノードの sshd にクライアントを接続します。 詳細については、HDInsight での SSH の使用に関するページを参照してください。 |
| sshd | 22 | SSH | エッジ ノードの sshd にクライアントを接続します。 詳細については、HDInsight での SSH の使用に関するページを参照してください。 |
| sshd | 23 | SSH | セカンダリ ヘッドノードの sshd にクライアントを接続します。 詳細については、HDInsight での SSH の使用に関するページを参照してください。 |
| Ambari | 443 | HTTPS | Ambari Web UI。 Apache Ambari Web UI を使用した HDInsight の管理に関するページをご覧ください |
| Ambari | 443 | HTTPS | Ambari REST API。 「Apache Ambari REST API を使用した HDInsight の管理」をご覧ください |
| WebHCat | 443 | HTTPS | HCatalog REST API。 MapReduce と Curl の使用に関する記事を参照してください |
| HiveServer2 | 443 | ODBC | ODBC を使用して Hive に接続します。 Microsoft ODBC ドライバーを使用した Excel から HDInsight への接続に関する記事をご覧ください。 |
| HiveServer2 | 443 | JDBC | JDBC を使用して Apache Hive に接続します。 Hive JDBC ドライバーを使用した HDInsight の Apache Hive への接続に関するページをご覧ください |
次のポートは、特定のクラスターの種類で使用できます。
| サービス | Port | Protocol | クラスターの種類 | 説明 |
|---|---|---|---|---|
Stargate |
443 | HTTPS | hbase | HBase REST API。 Apache HBase の使用開始に関するページをご覧ください |
| Livy | 443 | HTTPS | Spark | Spark REST API。 Apache Livy を使用したリモートからの Apache Spark ジョブの送信に関するページをご覧ください |
| Spark Thrift サーバー | 443 | HTTPS | Spark | Hive クエリを送信するために使用される Spark Thrift サーバー。 HDInsight での Beeline と Apache Hive の使用に関する記事をご覧ください |
| Kafka REST プロキシ | 443 | HTTPS | Kafka | Kafka REST API。 「REST プロキシを使用して Azure HDInsight で Apache Kafka クラスターを操作する」をご覧ください。 |
認証
インターネット上で公開されるすべてのサービスを認証する必要があります。
| Port | 資格情報 |
|---|---|
| 22 または 23 | クラスターの作成時に指定した SSH ユーザー資格情報 |
| 443 | ログイン名 (既定値: admin) と、クラスターの作成時に設定したパスワード |
非パブリック ポート
注意
一部のサービスは、特定のクラスターの種類でのみ利用できます。 たとえば、HBase を利用できるのは、クラスターの種類が HBase の場合のみです。
重要
一部のサービスは、一度に 1 つのヘッド ノード上でしか実行されません。 プライマリのヘッド ノード上のサービスに接続しようとしてエラーが発生した場合は、セカンダリのヘッド ノードを使用して再試行してください。
Ambari
| サービス | Nodes | Port | URL パス | Protocol |
|---|---|---|---|---|
| Ambari Web UI | ヘッド ノード | 8080 | / | HTTP |
| Ambari REST API | ヘッド ノード | 8080 | /api/v1 | HTTP |
例 :
- Ambari REST API:
curl -u admin "http://10.0.0.11:8080/api/v1/clusters"
HDFS ポート
| サービス | Nodes | Port | Protocol | 説明 |
|---|---|---|---|---|
| NameNode Web UI | ヘッド ノード | 30070 | HTTPS | 状態を表示する Web UI |
| NameNode メタデータ サービス | ヘッド ノード | 8020 | IPC | ファイル システム メタデータ |
| DataNode | すべての worker ノード | 30075 | HTTPS | 状態、ログなどを表示する Web UI |
| DataNode | すべての worker ノード | 30010 | データ転送 | |
| DataNode | すべての worker ノード | 30020 | IPC | メタデータ操作 |
| セカンダリ NameNode | ヘッド ノード | 50090 | HTTP | NameNode メタデータのチェックポイント |
YARN ポート
| サービス | Nodes | Port | Protocol | 説明 |
|---|---|---|---|---|
| Resource Manager Web UI | ヘッド ノード | 8088 | HTTP | Resource Manager の Web UI |
| Resource Manager Web UI | ヘッド ノード | 8090 | HTTPS | Resource Manager の Web UI |
| Resource Manager 管理インターフェイス | ヘッド ノード | 8141 | IPC | アプリケーション送信用 (Hive、Hive サーバー、Pig など) |
| Resource Manager スケジューラ | ヘッド ノード | 8030 | HTTP | 管理インターフェイス |
| Resource Manager アプリケーション インターフェイス | ヘッド ノード | 8050 | HTTP | アプリケーション マネージャー インターフェイスのアドレス |
| NodeManager | すべての worker ノード | 30050 | コンテナー マネージャーのアドレス | |
| NodeManager Web UI | すべての worker ノード | 30060 | HTTP | Resource Manager インターフェイス |
| Timeline アドレス | ヘッド ノード | 10200 | RPC | Timeline サービスの RPC サービス |
| Timeline Web UI | ヘッド ノード | 8188 | HTTP | Timeline サービス Web UI |
Hive ポート
| サービス | Nodes | Port | Protocol | 説明 |
|---|---|---|---|---|
| HiveServer2 | ヘッド ノード | 10001 | Thrift | Hive に接続するためのサービス (Thrift/JDBC) |
| Hive メタストア | ヘッド ノード | 9083 | Thrift | Hive メタデータに接続するためのサービス (Thrift/JDBC) |
WebHCat ポート
| サービス | Nodes | Port | Protocol | 説明 |
|---|---|---|---|---|
| WebHCat サーバー | ヘッド ノード | 30111 | HTTP | HCatalog および他の Hadoop サービス上の Web API |
MapReduce ポート
| サービス | Nodes | Port | Protocol | 説明 |
|---|---|---|---|---|
| JobHistory | ヘッド ノード | 19888 | HTTP | MapReduce JobHistory Web UI |
| JobHistory | ヘッド ノード | 10020 | MapReduce JobHistory サーバー | |
| ShuffleHandler | 13562 | 中間 Map 出力を要求元 Reducer に転送 |
Oozie
| サービス | Nodes | Port | Protocol | 説明 |
|---|---|---|---|---|
| Oozie サーバー | ヘッド ノード | 11000 | HTTP | Oozie サービスの URL |
| Oozie サーバー | ヘッド ノード | 11001 | HTTP | Oozie 管理用ポート |
Ambari メトリック
| サービス | Nodes | Port | Protocol | 説明 |
|---|---|---|---|---|
| TimeLine (アプリケーション履歴) | ヘッド ノード | 6188 | HTTP | Timeline サービス Web UI |
| TimeLine (アプリケーション履歴) | ヘッド ノード | 30200 | RPC | Timeline サービス Web UI |
HBase ポート
| サービス | Nodes | Port | Protocol | 説明 |
|---|---|---|---|---|
| HMaster | ヘッド ノード | 16000 | ||
| HMaster 情報 Web UI | ヘッド ノード | 16010 | HTTP | HBase Master Web UI のポート |
| リージョン サーバー | すべての worker ノード | 16020 | ||
| リージョン サーバー情報 Web UI | すべての worker ノード | 16030 | HTTP | HBase リージョン サーバー Web UI のポート |
| 2181 | クライアントが ZooKeeper への接続に使用するポート |
Kafka ポート
| サービス | Nodes | Port | Protocol | 説明 |
|---|---|---|---|---|
| ブローカー | ワーカー ノード | 9092 | Kafka Wire Protocol | クライアント通信に使用 |
| Zookeeper ノード | 2181 | クライアントが ZooKeeper への接続に使用するポート | ||
| REST プロキシ | Kafka 管理ノード | 9400 | HTTPS | Kafka REST 仕様 |
Spark ポート
| サービス | Nodes | Port | Protocol | URL パス | 説明 |
|---|---|---|---|---|---|
| Spark Thrift サーバー | ヘッド ノード | 10002 | Thrift | Spark SQL に接続するためのサービス (Thrift/JDBC) | |
| Livy サーバー | ヘッド ノード | 8998 | HTTP | ステートメント、ジョブ、およびアプリケーションを実行するためのサービス | |
| Jupyter Notebook | ヘッド ノード | 8001 | HTTP | Jupyter Notebook Web サイト |
例 :
- Livy:
curl -u admin -G "http://10.0.0.11:8998/". この例の10.0.0.11は、Livy サービスをホストするヘッド ノードの IP アドレスです。