Azure HDInsight 가상 네트워크 아키텍처

아티클
03/15/2024

이 문서에서는 사용자 지정 Azure Virtual Network에 HDInsight 클러스터를 배포할 때 존재하는 리소스에 대해 설명합니다. 이 정보의 도움을 통해 사용자는 온-프레미스 리소스를 Azure의 HDInsight 클러스터에 연결합니다. Azure Virtual Network에 대한 자세한 내용은 Azure Virtual Network란?을 참조하세요.

Azure HDInsight 클러스터의 리소스 유형

Azure HDInsight 클러스터에는 서로 다른 유형의 가상 머신 또는 노드가 있습니다. 각 노드 유형은 시스템에 대한 작업에서 역할을 수행합니다. 다음 표에는 클러스터의 이러한 노드 유형과 그 역할에 대한 설명이 요약되어 있습니다.

Type	설명
Zookeeper 노드	ZooKeeper가 데이터 처리를 수행하는 노드들 간의 작업을 조정합니다. 또한 이것은 헤드 노드의 선행부 선택을 수행하고, 특정 마스터 서비스를 실행 중인 헤드 노드를 추적합니다. ZooKeeper 노드 수는 3개로 고정됩니다.
작업자 노드	데이터 처리 기능을 지원하는 노드를 나타냅니다. 작업자 노드를 클러스터에서 추가하거나 제거하여, 컴퓨팅 기능을 확장하고 비용을 관리할 수 있습니다.
지역 노드	HBase 클러스터 유형의 경우, 지역 노드(데이터 노드라고도 함)는 지역 서버를 실행합니다. 지역 서버는 HBase에서 관리하는 데이터의 일부를 제공하고 관리합니다. 지역 노드를 클러스터에서 추가하거나 제거하여, 컴퓨팅 기능을 확장하고 비용을 관리할 수 있습니다.

리소스 명명 규칙

클러스터의 노드에 주소를 지정하는 경우 FQDN(정규화된 도메인 이름)을 사용합니다. Ambari API를 사용하여 클러스터의 다양한 노드 형식에 대한 FQDN을 가져올 수 있습니다.

이러한 FQDN은 양식 <node-type-prefix><instance-number>-<abbreviated-clustername>.<unique-identifier>.cx.internal.cloudapp.net입니다.

<node-type-prefix>은(는) 헤드 노드에 대한 hn, 작업자 노드에 대한 wn 및 ZooKeeper 노드에 대한 zn입니다.

호스트 이름만 필요한 경우 FQDN의 첫 번째 부분만 사용합니다(<node-type-prefix><instance-number>-<abbreviated-clustername>).

기본 가상 네트워크 리소스

다음 다이어그램에서는 Azure의 HDInsight 노드 및 네트워크 리소스를 배치하는 방법을 보여 줍니다.

Diagram of HDInsight entities created in Azure custom VNET.

Azure Virtual Network의 기본 리소스에는 이전의 표에 언급된 클러스터 노드 형식이 포함되어 있습니다. 그리고 가상 네트워크와 외부 네트워크 간의 통신을 지원하는 네트워크 디바이스입니다.

다음 표에는 HDInsight가 사용자 지정 Azure Virtual Network에 배포될 때 생성된 9개의 클러스터 노드가 요약되어 있습니다.

리소스 종류	표시 번호	세부 정보
헤드 노드	two
Zookeeper 노드	three
작업자 노드	two	이 수는 클러스터 구성 및 크기 조정에 따라 달라질 수 있습니다. Apache Kafka에는 최소 3개의 작업자 노드가 필요합니다.
게이트웨이 노드	two	게이트웨이 노드는 Azure에서 생성되지만 구독에는 표시되지 않는 Azure 가상 컴퓨터입니다. 이러한 노드를 다시 부팅해야 하는 경우 고객 지원팀에 문의 하세요.

다음 네트워크 리소스는 HDInsight와 함께 사용되는 가상 네트워크 내에 자동으로 만들어집니다.

네트워킹 리소스	표시 번호	세부 정보
부하 분산 장치	three
네트워크 인터페이스	nine	이 값은 각 노드에 고유한 네트워크 인터페이스가 있는 일반 클러스터를 기반으로 합니다. 9개의 인터페이스에는 2개의 헤드 노드, 3개의 ZooKeeper 노드, 2개의 작업자 노드 및 이전의 표에 설명된 2개의 게이트웨이 노드가 있습니다.
공용 IP 주소	two

HDInsight에 연결하기 위한 엔드포인트

HDInsight 클러스터에 다음 세 가지 방법으로 액세스할 수 있습니다.

CLUSTERNAME.azurehdinsight.net의 가상 네트워크 외부에 있는 HTTPS 엔드포인트.
CLUSTERNAME-ssh.azurehdinsight.net의 헤드 노드에 직접 연결하기 위한 SSH 엔드포인트.
가상 네트워크 CLUSTERNAME-int.azurehdinsight.net 내의 HTTPS 엔드포인트. 이 URL의 "-int"에 주목하세요. 이 엔드포인트는 해당 가상 네트워크의 개인 IP로 확인되지만, 공용 인터넷에서 액세스할 수 없습니다.

이러한 3개의 엔드포인트는 각각 부하 분산 장치에 할당됩니다.

또한 공용 IP 주소는 가상 네트워크 외부에서 연결할 수 있도록 하는 2개의 엔드포인트에 제공됩니다.

인터넷 CLUSTERNAME.azurehdinsight.net에서 클러스터에 연결할 때 사용할 FQDN(정규화된 도메인 이름)에 대해 하나의 공용 IP가 부하 분산 장치에 할당됩니다.
두 번째 공용 IP 주소는 SSH 전용 도메인 이름 CLUSTERNAME-ssh.azurehdinsight.net에 사용됩니다.

다음 단계

프라이빗 엔드포인트를 사용하여 가상 네트워크에서 HDInsight 클러스터에 들어오는 트래픽 보안