고가용성 구성에서 HDFS 이름 노드 및 공유 Spark 서비스 배포

  • 아티클

적용 대상: SQL Server 2019(15.x)

중요

Microsoft SQL Server 2019 빅 데이터 클러스터 추가 기능이 사용 중지됩니다. SQL Server 2019 빅 데이터 클러스터에 대한 지원은 2025년 2월 28일에 종료됩니다. Software Assurance를 사용하는 SQL Server 2019의 모든 기존 사용자는 플랫폼에서 완전히 지원되며, 소프트웨어는 지원 종료 시점까지 SQL Server 누적 업데이트를 통해 계속 유지 관리됩니다. 자세한 내용은 공지 블로그 게시물 및 Microsoft SQL Server 플랫폼의 빅 데이터 옵션을 참조하세요.

고가용성 그룹을 사용하여 SQL Server 마스터 인스턴스를 고가용성 구성으로 배포하는 것 외에도 빅 데이터 클러스터에 여타 중요 업무용 서비스를 배포하여 안정성 수준을 높일 수 있습니다. HDFS name node을 구성하고 추가 복제본(replica)을 사용하여 sparkhead에 그룹화된 공유 Spark 서비스를 구성할 수 있습니다. 이 경우 다음 서비스를 위해 빅 데이터 클러스터에서 Zookeeper도 클러스터 코디네이터 및 메타데이터 저장소로 서버에 배포됩니다.

  • HDFS 이름 노드
  • Livy 및 Yarn Resource Manager.

Spark 기록, 작업 기록, Hive 메타데이터 서비스는 상태 비저장 서비스입니다. Zookeeper는 이러한 구성 요소에 대한 서비스 상태를 확인하는 데 관여하지 않습니다.

이러한 서비스에 대해 여러 복제본(replica) 배포하면 사용 가능한 복제본(replica) 간에 워크로드의 확장성, 안정성, 부하 분산이 향상됩니다.

참고 항목

다음 서비스는 sparkhead Pod에서 컨테이너로 배포됩니다.

  • Livy
  • Yarn Resource Manager
  • Spark 기록
  • 작업 기록
  • Hive 메타데이터 서비스

다음 이미지에는 SQL Server 빅 데이터 클러스터의 Spark HA 배포가 나와 있습니다.

spark-ha-bdc

다음 이미지에는 SQL Server 빅 데이터 클러스터의 HDFS HA 배포가 나와 있습니다.

hdfs-ha-bdc

배포

이름 노드 또는 Spark 헤드가 두 개의 복제본(replica)으로 구성된 경우 3개의 복제본(replica)을 사용하여 Zookeeper 리소스도 구성해야 합니다. HDFS 이름 노드의 고가용성 구성에서는 2개의 pod Pod는 nmnode-0 및 nmnode-1입니다. 이 구성은 활성-수동입니다. 이름 노드 중 한 번에 하나만 활성 상태입니다. 다른 하나는 대기 상태입니다. 장애 조치(failover) 이벤트의 결과로 활성화됩니다.

기본 제공 구성 프로필 aks-dev-test-ha 또는 kubeadm-prod 기본 제공 구성 프로필을 사용하여 빅 데이터 클러스터 배포 사용자 지정을 시작할 수 있습니다. 프로필에는 추가 고가용성을 구성할 수 있는 리소스에 필요한 설정이 포함됩니다. 예를 들어, 다음은 HDFS 이름 노드, Zookeeper 및 공유 Spark 리소스(sparkhead)를 고가용성으로 배포하는 것과 관련된 bdc.json 구성 파일의 한 섹션입니다.

{
  ...
    "nmnode-0": {
        "spec": {
            "replicas": 2
        }
    },
    "sparkhead": {
        "spec": {
            "replicas": 2
        }
    },
    "zookeeper": {
        "spec": {
            "replicas": 3
        }
    },
  ...
}

프로덕션 배포에서 모범 사례로 HDFS 블록 복제도 3으로 구성해야 합니다. 이 설정은 이미 aks-dev-test-ha 및 kubeadm-prod 프로필에 지정되어 있습니다. bdc.json 구성 파일에서 아래 섹션을 참조하세요.

{
  ...
  "hdfs": {
      "resources": [
          "nmnode-0",
          "zookeeper",
          "storage-0",
          "sparkhead"
      ],
      "settings": {
          "hdfs-site.dfs.replication": "3"
      }
  },
  ...
}

알려진 제한 사항

SQL Server 빅 데이터 클러스터 Hadoop 서비스에 대한 고가용성 구성과 관련된 알려진 문제 및 제한 사항에는 다음이 포함됩니다.

  • 모든 구성은 빅 데이터 클러스터 배포 시에 정해야 합니다. SQL Server 2019 CU1 릴리스의 경우 배포 후 고가용성 구성을 사용하도록 설정할 수 없습니다.

다음 단계