가용성 영역을 사용하는 HDInsight 클러스터 만들기

  • 아티클

Azure HDInsight 클러스터는 여러 노드(헤드 노드, 작업자 노드, 게이트웨이 노드 및 ZooKeeper 노드)로 구성됩니다. 기본적으로 가용성 영역을 지원하는 지역에서 사용자는 어떤 클러스터 노드가 어떤 가용성 영역에 프로비저닝되는지 제어할 수 없습니다.

이 새로운 가용성 영역 기능을 통해 사용자는 이제 HDInsight 클러스터의 모든 노드를 호스팅해야 하는 가용성 영역을 지정할 수 있습니다. 클러스터 노드는 다른 가용성 영역과 실제로 분리되어 있으며 동일한 지역의 다른 가용성 영역에서 발생하는 장애로부터 격리됩니다. 또한 이 배포 모델은 클러스터 내에서 저렴하고 대기 시간이 짧은 네트워크 연결을 제공합니다.

이 배포 모델을 여러 가용성 영역에 복제하면 더 높은 수준의 가용성을 제공하여 하드웨어 오류로부터 보호할 수 있습니다.

이 문서에서는 가용성 영역 내에서 HDInsight 클러스터를 만드는 방법과 이 기능을 사용하여 더 높은 가용성을 달성하는 방법을 보여 줍니다.

시작하기 전에

가용성 영역 기능은 6월 15일 이후에 만들어진 클러스터에 대해서만 지원됩니다. 클러스터를 만든 후에는 가용성 영역 설정을 업데이트할 수 없습니다. 또한 가용성 영역을 사용하도록 기존의 비가용성 영역 클러스터를 업데이트할 수 없습니다.

필수 조건 및 지역 가용성

필수 조건:

  • 클러스터는 사용자 지정 VNet에서 만들어야 합니다.
  • 동일한 가용성 영역에서 이러한 DB를 구성할 수 있도록 Ambari DB 및 외부 메타스토어(예: Hive 메타스토어)용 SQL DB를 가져와야 합니다.

HDInsight 클러스터는 현재 다음 지역에서 가용성 영역을 사용하여 만들 수 있습니다.

  • 오스트레일리아 동부
  • 브라질 남부
  • 캐나다 중부
  • 미국 중부
  • 미국 동부
  • 미국 동부 2
  • 프랑스 중부
  • 독일 중서부
  • 일본 동부
  • 한국 중부
  • 북유럽
  • 동남 아시아
  • 미국 중남부
  • 영국 남부
  • US Gov 버지니아
  • 서유럽
  • 미국 서부 2

HDInsight 클러스터의 가용성 영역 개요

가용성 영역은 지역 내의 고유한 물리적 위치입니다. 각 영역은 독립된 전원, 냉각 및 네트워킹을 갖춘 하나 이상의 데이터 센터로 구성됩니다. Azure에서 지역은 하나 이상의 가용성 영역을 포함합니다. 지역 내에서 가용성 영역을 실제로physically 분리하면 데이터 센터 장애로부터 애플리케이션과 데이터를 보호할 수 있습니다. 자세한 내용은 Azure에서 가용성 영역이란?을 참조하세요.

Azure HDInsight 클러스터는 하나의 가용성 영역 내에서 배포하도록 구성될 수 있습니다. 헤드 노드 2개, ZooKeeper 노드 3개, 게이트웨이 노드 2개 및 작업자 노드를 포함하여 이 HDInsight 클러스터의 모든 노드는 지정된 가용성 영역에 배치됩니다. 예를 들어 미국 동부에는 3개의 가용성 영역이 있습니다. 미국 동부의 HDInsight 클러스터는 가용성 영역 1의 모든 노드로 만들 수 있습니다.

이러한 방식으로 HDInsight 클러스터와 함께 가용성 영역을 사용하면 성능과 비용 이점을 모두 제공할 수 있습니다.

  • 저대기 시간의 네트워크 연결로 인한 성능 향상
  • 비용 절감: 동일한 가용성 영역 내 데이터 전송은 무료입니다. 서로 다른 가용성 영역 간 데이터 전송에는 추가 네트워킹 비용이 발생합니다.

애플리케이션이 여러 가용성 영역에서 고가용성을 필요로 하는 경우 하나의 가용성 영역에 하나의 기본 HDInsight 클러스터를 만들고 다른 가용성 영역에 최소 크기로 보조 HDInsight 클러스터를 만들어 비용을 절약할 수 있습니다. 이 설계에서는 다른 가용성 영역 중 하나가 중단되더라도 이 HDInsight 클러스터는 영향을 받지 않습니다. 이 가용성 영역이 다운되면 고객은 다른 가용성 영역의 보조 클러스터를 기본 클러스터로 전환하고 워크로드를 이 새로운 기본 클러스터로 라우팅하고 클러스터 크기를 빠르게 스케일 업하여 데이터 처리를 선택해야 합니다.

가용성 영역을 사용하여 HDInsight 클러스터 만들기

ARM(Azure Resource Manager) 템플릿을 사용하여 지정된 가용성 영역으로 HDInsight 클러스터를 시작할 수 있습니다.

리소스 섹션에서 '영역' 섹션을 추가하고 이 클러스터를 배포할 가용성 영역을 제공해야 합니다.

   "resources": [
        {
            "type": "Microsoft.HDInsight/clusters",
            "apiVersion": "2021-06-01",
            "name": "[parameters('cluster name')]",
            "location": "East US 2",
            "zones": [
                "1"
            ],

여러 영역에서 하나의 가용성 영역 내 노드 확인

HDInsight 클러스터가 준비되면 위치를 확인하여 클러스터가 배포된 가용성 영역을 확인할 수 있습니다.

Screenshot sthat hows availability zone info in cluster overview.

API 응답 가져오기:

 [
        {
            "location": "East US 2",
            "zones": [
                "1"
            ],

클러스터 스케일 업

더 많은 작업자 노드로 HDInsight 클러스터를 스케일 업할 수 있습니다. 새로 추가된 작업자 노드는 이 클러스터의 동일한 가용성 영역에 배치됩니다.

모범 사례

  • Ambari DB에서 구성을 정기적으로 백업합니다.
  • 워크로드를 보조 클러스터로 쉽게 라우팅하는 논리를 구현합니다.

AZ가 다운된 경우 예상할 수 있는 변화

  • 이 클러스터에 ssh로 접속할 수 없습니다.
  • 이 클러스터를 삭제하거나 스케일 업하거나 스케일 다운할 수 없습니다.
  • 작업을 제출하거나 작업 기록을 볼 수 없습니다.
  • 다른 지역에서 새 클러스터 만들기 요청을 제출할 수 있습니다.