Azure HDInsight에서 네트워크 트래픽 제어

  • 아티클

Azure Virtual Networks의 네트워크 트래픽은 다음 방법을 사용하여 제어할 수 있습니다.

  • NSG(네트워크 보안 그룹)를 통해 네트워크로의 인바운드 및 아웃바운드 트래픽을 필터링할 수 있습니다. 자세한 내용은 네트워크 보안 그룹을 사용하여 네트워크 트래픽 필터링 문서를 참조하세요.

  • NVA(네트워크 가상 어플라이언스)는 아웃바운드 트래픽에만 사용할 수 있습니다. NVA는 방화벽 및 라우터와 같은 디바이스의 기능을 복제합니다. 자세한 내용은 네트워크 어플라이언스 문서를 참조하세요.

관리형 서비스인 HDInsight는 VNET을 드나드는 트래픽의 HDInsight 상태 및 관리 서비스에 제한 없이 액세스할 수 있어야 합니다. NSG를 사용하는 경우 이러한 서비스가 HDInsight 클러스터와 계속 통신할 수 있는지 확인해야 합니다.

Diagram of HDInsight entities created in Azure custom VNET.

네트워크 보안 그룹을 사용한 HDInsight

네트워크 트래픽을 제어하는 데 네트워크 보안 그룹을 사용할 계획인 경우 HDInsight를 설치하기 전에 다음 작업을 수행합니다.

  1. HDInsight에 대해 사용할 Azure 지역을 식별합니다.

  2. 해당 지역에서 HDInsight에 필요한 서비스 태그를 확인합니다. 이러한 서비스 태그를 가져오는 방법에는 여러 가지가 있습니다.

    1. Azure HDInsight에 대한 NSG (네트워크 보안 그룹) 서비스 태그에서 게시된 서비스 태그의 목록을 참조하세요.
    2. 지역이 목록에 없는 경우 서비스 태그 검색 API를 사용하여 해당 지역에 대한 서비스 태그를 찾습니다.
    3. API를 사용할 수 없는 경우 서비스 태그 JSON 파일을 다운로드하고 원하는 지역을 검색합니다.

  3. HDInsight를 설치하려는 서브넷에 대한 네트워크 보안 그룹을 만들거나 수정합니다.

    • 네트워크 보안 그룹: IP 주소에서 포트 443에 인바운드 트래픽을 허용합니다. 이렇게 하면 HDInsight 관리 서비스가 가상 네트워크 외부에서 클러스터에 도달할 수 있습니다. Kafka REST 프록시 사용 클러스터의 경우 포트 9400에서 인바운드 트래픽도 허용합니다. 이로써 Kafka REST 프록시 서버에 도달할 수 있습니다.

네트워크 보안 그룹에 대한 자세한 내용은 네트워크 보안 그룹 개요를 참조하세요.

HDInsight 클러스터에서 아웃바운드 트래픽 제어

HDInsight 클러스터에서 아웃바운드 트래픽을 제어하는 방법에 대한 자세한 내용은 Azure HDInsight 클러스터에 대한 아웃바운드 네트워크 트래픽 제한 구성을 참조하세요.

온-프레미스에 강제 터널링

강제 터널링은 서브넷의 모든 트래픽이 특정 네트워크 또는 위치(예: 온-프레미스 네트워크 또는 방화벽)로 적용되는 사용자 정의 라우팅 구성입니다. 온-프레미스로 다시 전송되는 모든 데이터의 강제 터널링은 대용량의 데이터 전송 및 잠재적인 성능 영향 때문에 권장되지 않습니다.

강제 터널링을 설정하려는 고객은 사용자 지정 메타스토어를 사용하고 클러스터 서브넷 또는 온-프레미스 네트워크에서 이러한 사용자 지정 메타스토어에 적절한 연결을 설정해야 합니다.

Azure Firewall을 사용한 UDR 설정의 예를 보려면 Azure HDInsight 클러스터에 대한 아웃바운드 네트워크 트래픽 제한 구성을 참조하세요.

필요한 포트

방화벽을 사용하여 특정 포트 외부에서 클러스터에 액세스하려는 경우 시나리오에 필요한 포트에서 트래픽을 허용해야 합니다. 이전 섹션에서 설명한 Azure 관리 트래픽이 포트 443의 클러스터에 도달할 수 있는 한 기본적으로 포트에 대한 특별한 필터링이 필요하지 않습니다.

특정 서비스에 대한 포트 목록은 HDInsight의 Apache Hadoop 서비스에서 사용되는 포트 문서를 참조하세요.

가상 어플라이언스의 방화벽 규칙에 대한 자세한 내용은 가상 어플라이언스 시나리오 문서를 참조하세요.

다음 단계