편집

다음을 통해 공유

Azure 데이터 플랫폼용 DR - 아키텍처

Azure Synapse Analytics
Azure Machine Learning
Azure Cosmos DB
Azure 데이터 레이크
Azure Event Hubs

사용 사례 정의

이 작동하는 예제를 지원하기 위해 가상의 회사 "Contoso"가 Microsoft 참조 아키텍처를 기반으로 하는 Azure Data Platform과 함께 사용됩니다.

데이터 서비스 - 구성 요소 보기

Contoso는 엔터프라이즈 랜딩 존의 하위 집합인 다음과 같은 기본 Azure 구조체를 구현했습니다. 예제 엔터프라이즈 Azure 랜딩 존을 보여 주는 다이어그램.

다음 설명의 숫자는 위의 다이어그램에 해당합니다.

Contoso의 Azure Foundations - 워크플로

  1. 엔터프라이즈 등록 - Microsoft와의 상업적 계약, 조직 계정 구조 및 사용 가능한 Azure 구독을 반영하는 Contoso의 Azure 내 상위 부모 엔터프라이즈 등록입니다. 구독에 대한 청구 기반과 디지털 자산 관리 방법을 제공합니다.
  2. ID 및 액세스 관리 – Contoso의 Azure 공간 전체에서 ID, 인증, 리소스 액세스 및 권한 부여 서비스를 제공하는 데 필요한 구성 요소
  3. 관리 그룹 및 구독 조직 - 데이터 플랫폼의 핵심 기능에 맞게 조정된 확장 가능한 그룹 계층 구조로, 워크로드가 명확한 분리가 있는 중앙 관리형 보안 및 거버넌스를 사용하여 대규모로 운영할 수 있습니다. 관리 그룹은 구독 위의 거버넌스 범위를 제공합니다.
  4. 관리 구독 - 데이터 플랫폼을 지원하는 데 필요한 다양한 관리 수준 기능에 대한 전용 구독
  5. 연결 구독 - 데이터 플랫폼의 연결 기능에 대한 전용 구독으로, 명명된 서비스를 식별하고, 내부 및 외부 서비스 간 보안 라우팅 및 통신을 결정할 수 있습니다.
  6. 랜딩 존 구독 – Azure 네이티브, 온라인 애플리케이션, 내부 및 외부 연결 워크로드 및 리소스에 대한 일대다 구독
  7. DevOps Platform - Azure Foundation 및 Data Platform을 지원하는 DevOps 플랫폼입니다. 이 플랫폼에는 코드 기본 소스 제어 리포지토리 및 CI/CD 파이프라인이 포함되어 있어 IaC(Infrastructure as code)의 자동화된 배포를 지원합니다.

참고 항목

많은 고객이 여전히 대규모 IaaS(Infrastructure as a Service) 공간을 유지합니다. IaaS에서 복구 기능을 제공하기 위해 추가할 주요 구성 요소는 Azure Site Recovery입니다. Site Recovery는 지역, 온-프레미스 가상 머신 및 물리적 서버 사이의 Azure VM을 Azure로 복제하고, 온-프레미스 머신을 보조 데이터 센터로 복제하는 작업을 구성하고 자동화합니다.

이 기본 구조 내에서 Contoso는 Azure Synapse를 사용한 Analytics 엔드투엔드 지침에 따라 엔터프라이즈 비즈니스 인텔리전스 요구 사항을 지원하기 위해 다음 요소를 구현했습니다.

Azure 데이터 서비스를 사용하는 최신 데이터 플랫폼에 대한 아키텍처를 보여 주는 다이어그램.Contoso의 데이터 플랫폼

Contoso의 데이터 플랫폼 - 워크플로

워크플로는 데이터 흐름에 따라 왼쪽에서 오른쪽으로 읽습니다.

  • 데이터 원본 - 데이터 플랫폼이 사용할 수 있는 데이터 원본 또는 유형
  • 수집 - 다양한 구조와 속도의 다양한 원본에서 데이터를 수집하는 플랫폼의 기능입니다. 이 디자인은 람다 아키텍처를 반영합니다.
  • 저장소 - 플랫폼에 수집된 대규모 데이터를 안전하게 저장하는 기능
  • 프로세스 - 데이터를 처리하는 플랫폼의 기능으로 정리, 표준화 및 모델링과 같은 다운스트림 프로세스에 "목적에 적합"합니다. 데이터의 사전 처리는 일반적으로 "위치 및 조건, 사용할 준비가 된 상태"에 있는지 확인합니다.
  • 보강 - 통계, Machine Learning 또는 기타 모델링 기술 또는 미리 빌드된 Azure AI 서비스를 통해 플랫폼에서 처리되는 데이터를 향상시키는 기능
  • 서비스 - 다운스트림 사용을 위해 데이터를 형성하고 표시하는 플랫폼의 기능
  • 데이터 소비자 - 플랫폼의 다양한 서비스 터치포인트에서 데이터를 사용하는 개인, 애플리케이션 또는 다운스트림 프로세스
  • 검색 및 관리 - 포함된 데이터를 제어하고 전체 계보를 사용하여 인덱싱되고 검색 가능/검색 가능하며 잘 설명되며 최종 사용자 및 소비 프로세스에 투명하도록 하는 플랫폼의 기능입니다.
  • 플랫폼 - 플랫폼이 빌드되는 기반, 즉 위에서 설명한 대로 Contoso의 Azure Foundations입니다.

참고 항목

많은 고객의 경우 사용되는 데이터 플랫폼 참조 아키텍처의 개념 수준이 일치하지만 실제 구현은 다를 수 있습니다. 예를 들어 AZURE Data Factory 및 Azure SQL Server에서 데이터 모델링을 통해 ELT(추출, 로드, 변환) 프로세스를 수행할 수 있습니다. 이 문제를 해결하기 위해 아래의 상태 비저장 및 상태 저장 섹션에서 지침을 제공합니다.

데이터 플랫폼의 경우 Contoso는 모든 구성 요소에 대해 가장 낮은 권장 프로덕션 서비스 계층을 선택했으며 운영 비용 최소화 접근 방식에 따라 "재해에 대한 다시 배포" DR(재해 복구) 전략을 채택하기로 결정했습니다.

다음 섹션에서는 이 태도를 개선하기 위해 고객이 사용할 수 있는 DR 프로세스 및 레버에 대한 기본적인 이해를 제공합니다.

Azure 서비스 및 구성 요소 보기

다음 표에서는 DR 향상 옵션과 함께 Contoso – 데이터 플랫폼에서 사용되는 각 Azure 서비스 및 구성 요소에 대한 분석을 제공합니다.

참고

아래 섹션은 상태 저장 서비스와 상태 비저장 서비스별로 구성되었습니다.

상태 저장 기본 구성 요소

  • 역할 자격을 포함한 Microsoft Entra ID

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 프리미엄 P1
    • DR 향상 옵션: Microsoft Entra 복원력은 SaaS(Software as a Service) 제품의 일부입니다.
    • 참고

  • Azure Key Vault

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 해당 없음
    • DR 향상 옵션: 해당 없음, Azure 서비스의 일부로 적용됨

  • Recovery Services 자격 증명 모음

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 기본값(GRS(지역 중복 스토리지))
    • DR 향상 옵션: 지역 간 복원을 사용하면 두 번째, 쌍을 이루는 지역에서 데이터 복원을 만들 수 있습니다.
    • 참고
      • LRS(로컬 중복 스토리지) 및 ZRS(영역 중복 스토리지)를 사용할 수 있지만 기본 설정의 구성 작업이 필요합니다.

  • Azure DevOps

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: DevOps Services
    • DR 향상 옵션: DevOps 서비스 및 데이터 복원력은 SaaS 제품의 일부입니다.
    • 참고
      • 온-프레미스 제품인 DevOps Server는 재해 복구에 대한 고객의 책임으로 유지됩니다.
      • 타사 서비스(예: SonarCloud, Jfrog Artifactory, Jenkins 빌드 서버)를 사용하는 경우 재해 복구에 대한 고객의 책임은 그대로 유지됩니다.
      • IaaS VM이 DevOps 도구 체인 내에서 사용되는 경우 재해 복구에 대한 고객의 책임은 그대로 유지됩니다.

상태 비저장 기본 구성 요소

  • 구독

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 해당 없음
    • DR 향상 옵션: 해당 없음, Azure 서비스의 일부로 적용됨

  • 관리 그룹

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 해당 없음
    • DR 향상 옵션: 해당 없음, Azure 서비스의 일부로 적용됨

  • Azure Monitor

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 해당 없음
    • DR 향상 옵션: 해당 없음, Azure 서비스의 일부로 적용됨

  • Cost Management

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 해당 없음
    • DR 향상 옵션: 해당 없음, Azure 서비스의 일부로 적용됨

  • Microsoft Defender for Cloud

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 해당 없음
    • DR 향상 옵션: 해당 없음, Azure 서비스의 일부로 적용됨

  • Azure DNS

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 단일 영역 - 퍼블릭
    • DR 향상 옵션: 해당 없음, DNS는 설계상 고가용성입니다.

  • Network Watcher

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 해당 없음
    • DR 향상 옵션: 해당 없음, Azure 서비스의 일부로 적용됨

  • 서브넷, UDR(사용자 정의 경로) 및 NSG(네트워크 보안 그룹)를 포함한 가상 네트워크

    • 구성 요소 복구 책임: Contoso
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 해당 없음
    • DR 향상 옵션: 쌍을 이루는 보조 지역으로 VNET을 복제할 수 있습니다.

  • Azure Firewall

    • 구성 요소 복구 책임: Contoso
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 표준
    • DR 향상 옵션: Azure Firewall은 설계상 가용성이 높고 가용성을 높이기 위해 가용성 영역으로 만들 수 있습니다.

  • Azure DDoS

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: DDoS 네트워크 보호
    • DR 향상 옵션: 해당 없음, Azure 서비스의 일부로 적용됨

  • ExpressRoute 회로

    • 구성 요소 복구 책임: Contoso, 연결 파트너 및 Microsoft
    • 워크로드/구성 복구 책임: 연결 파트너 및 Microsoft
    • Contoso SKU 선택: 표준
    • DR 향상 옵션:
    • 참고
      • ExpressRoute에는 기본적으로 중복성이 제공되어, 각 회로는 연결 공급자/클라이언트의 네트워크 에지에서 ExpressRoute 위치에 있는 두 MSEE(Microsoft Enterprise E) 라우터로 연결되는 두 개 연결로 구성됩니다.
      • ExpressRoute 프리미엄 회로를 사용하면 전 세계 모든 Azure 지역에 액세스할 수 있습니다.

  • VPN Gateway

    • 구성 요소 복구 책임: Contoso
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 단일 영역 - VpnGw1
    • DR 향상 옵션: VpnGw#AZ SKU를 사용하여 가용성 영역에 VPN 게이트웨이를 배포하여 영역 중복 서비스를 제공할 수 있습니다.

  • Azure Load Balancer

    • 구성 요소 복구 책임: Contoso
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 표준
    • DR 향상 옵션:
      • 부하 분산 장치는 가용성 영역이 있는 지역 내에서 영역 중복성을 구성할 수 있습니다. 그럴 경우, 지역 내의 한 영역이 정상 상태로 유지되는 한 데이터 경로는 유지됩니다.
      • 주 지역에 따라, 지역 배포 간에 고가용성을 위해 지역 간 부하 분산 장치를 배포할 수 있습니다.
    • 참고
      • Azure Traffic Manager는 DNS 기반 트래픽 부하 분산 장치입니다. 이 서비스는 전체 Azure 지역에 공용 주소의 애플리케이션에 대한 트래픽 분산을 지원합니다. 이 솔루션은 고가용성 디자인 내에서 지역 중단으로부터 보호해 줍니다.

상태 저장 데이터 플랫폼별 서비스

  • 스토리지 계정: Azure Data Lake Gen2

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: LRS
    • DR 향상 옵션: 스토리지 계정은 주 지역 중복에서 보조 지역 중복에 이르기까지 광범위한 데이터 중복성 옵션을 사용할 수 있습니다.
    • 참고
      • GRS는 쌍을 이루는 지역의 데이터 복사본을 제공하여 중복성을 향상하는 것이 좋습니다.

  • Azure Event Hubs

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 표준
    • DR 향상 옵션: 가용성 영역을 사용하도록 설정하여 이벤트 허브 네임스페이스를 만들 수 있습니다. 이러한 복원력은 지리적 재해 복구로 전체 지역 중단을 보호하도록 확장될 수 있습니다.
    • 참고
      • 기본적으로 Event Hubs 지리적 재해 복구는 데이터를 복제하지 않으므로, 장애 조치(failover) 및 대체를 위해 염두에 둘 몇 가지 고려 사항이 있습니다.

  • Azure IoT Hubs

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 표준
    • DR 향상 옵션:
    • 참고
      • IoT Hub는 각 IoT 허브의 쌍을 이루는 지역에 데이터를 복제하여 Microsoft 시작 장애 조치(failover)와 수동 장애 조치를 제공합니다.
      • IoT Hub는 지역 내 HA를 제공하고 미리 정의된 Azure 지역 집합에서 가용성 영역을 만든 경우 자동으로 이것을 사용합니다.

  • Azure Stream Analytics

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 표준
    • DR 향상 옵션: Azure Stream Analytics는 완전히 관리되는 PaaS(Platform as a Service) 제품이지만 자동 지역 장애 조치(failover)를 제공하지는 않습니다. 지역 중복은 여러 Azure 지역에 동일한 Stream Analytics 작업을 배포하여 달성할 수 있습니다.

  • Azure Machine Learning

    • 구성 요소 복구 책임: Contoso 및 Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 범용, D 시리즈 인스턴스
    • DR 향상 옵션:
      • Azure Machine Learning은 여러 Azure 서비스에 따라 달라지며, 그 중 일부는 고객의 구독에 프로비전됩니다. 따라서 이러한 서비스의 고가용성 구성은 고객이 계속 담당합니다.
      • 다중 지역 배포를 통해 복원력을 향상시킬 수 있습니다.
    • 노트:

  • Power BI

  • Azure Cosmos DB

  • Azure Data Share

  • Microsoft Purview

상태 비지정 데이터 플랫폼별 서비스

  • Azure Synapse: 파이프라인

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 컴퓨팅 최적화 Gen2
    • DR 향상 옵션: N/A, Synapse 복원력은 자동 장애 조치 기능을 사용하는 SaaS 제품의 일부입니다.
    • 참고
      • 자체 호스팅 데이터 파이프라인을 사용하는 경우 재해 복구에 대한 고객의 책임은 유지됩니다.

  • Azure Synapse: Data Explorer 풀

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 계산 최적화됨, 작음(4코어)
    • DR 향상 옵션: 해당 없음, Synapse 복원력은 SaaS 제품의 일부입니다.
    • 참고

  • Azure Synapse: Spark 풀

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 계산 최적화됨, 작음(4코어)
    • DR 향상 옵션: 해당 없음, Synapse 복원력은 SaaS 제품의 일부입니다.
    • 참고

  • Azure Synapse: 서버리스 및 전용 SQL 풀

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Contoso
    • Contoso SKU 선택: 컴퓨팅 최적화 Gen2
    • DR 향상 옵션: 해당 없음, Synapse 복원력은 SaaS 제품의 일부입니다.
    • 참고

  • Azure AI 서비스(이전 Cognitive Services)

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 용량제
    • DR 향상 옵션: N/A, AI 서비스용 API는 Microsoft 관리형 데이터 센터에서 호스팅 됩니다.
    • 참고

  • Azure AI Search(기존의 Cognitive Search)

    • 구성 요소 복구 책임: Microsoft
    • 워크로드/구성 복구 책임: Microsoft
    • Contoso SKU 선택: 표준 S1
    • DR 향상 옵션:
    • 참고
      • AI Search에서 비즈니스 연속성(및 재해 복구)은 여러 AI Search 서비스를 통해 수행됩니다.
      • 재해 복구를 위한 기본 제공 메커니즘은 없습니다. 치명적인 오류가 발생하더라도 지속적인 서비스가 필요한 경우 두 번째 서비스를 다른 지역에 두고 모든 서비스에서 인덱스가 완전히 중복되도록 지리적 복제 전략을 구현하는 것이 좋습니다.

상태 저장 및 상태 비저장 구성 요소

특히 Microsoft 제품군 및 Azure에서 혁신 속도는 이 작업 예제에 사용한 구성 요소 집합이 빠르게 발전할 것임을 의미합니다. 진부한 지침을 제공하지 않고 이 지침을 이 문서에서 명시적으로 다루지 않는 구성 요소로 확장하기 위해 아래 섹션에서는 대략적인 상태 분류에 따라 몇 가지 지침을 제공합니다.

이전 이벤트 또는 사용자 상호 작용을 기억하도록 설계된 경우 구성 요소/서비스를 상태 저장으로 설명할 수 있습니다. 상태 비저장은 이전 상호 작용에 대한 기록이 없다는 것을 의미하며, 각 상호 작용 요청은 전적으로 함께 제공되는 정보를 기반으로 처리되어야 합니다.

재배포를 요청하는 DR 시나리오의 경우:

  • Azure Functions 및 Azure Data Factory 파이프라인과 같이 "상태 비저장"인 구성 요소/서비스는 더 넓은 시스템에 도입되기 전에 적어도 스모크 테스트를 사용하여 소스 제어에서 다시 배포하여 가용성의 유효성을 검사할 수 있습니다.
  • Azure SQL Database 및 스토리지 계정과 같이 "상태 저장"인 구성 요소/서비스에 더 많은 주의가 필요합니다.
    • 구성 요소를 조달할 때 중요한 결정은 데이터 중복 기능을 선택하는 것입니다. 이 결정은 일반적으로 가용성과 내구성 간의 절충과 운영 비용에 중점을 둡니다.
  • 데이터 저장소에는 데이터 백업 전략도 필요합니다. 기본 스토리지의 데이터 중복 기능은 일부 디자인에는 이러한 위험을 완화하는 반면, SQL 데이터베이스와 같은 다른 디자인에는 별도의 백업 프로세스가 필요합니다.
    • 필요한 경우 스모크 테스트를 통해 유효성이 검사된 구성을 사용하여 소스 제어에서 구성 요소를 다시 배포할 수 있습니다.
    • 다시 배포된 데이터 저장소에는 해당 데이터 세트의 수화가 있어야 합니다. 데이터 중복성(사용 가능한 경우) 또는 백업 데이터 세트를 통해 리하이드레이션을 수행할 수 있습니다. 리하일레이션이 완료되면 정확도 및 완전성에 대한 유효성을 검사해야 합니다.
      • 백업 프로세스의 성격에 따라, 백업 데이터 세트를 적용하기 전에 유효성 검사를 해야 할 수 있습니다. 백업 프로세스 손상/오류로 인해 사용 가능한 최신 버전 대신 이전 백업이 사용될 수 있습니다.
    • 구성 요소 날짜/타임스탬프와 현재 날짜 사이의 모든 델타는 해당 시점부터 데이터 수집 프로세스를 다시 검사하거나 재생하여 해결해야 합니다.
    • 구성 요소의 데이터 세트가 최신 상태이면 더 넓은 시스템에 도입할 수 있습니다.

기타 주요 서비스

이 섹션에는 다른 주요 Azure 데이터 구성 요소 및 서비스에 대한 HA/DR 지침이 포함되어 있습니다.

  • Azure Databricks - 제품 설명서에서 DR 지침을 찾을 수 있습니다.
  • Azure Analysis Services - 제품 설명서에서 HA 지침을 찾을 수 있습니다.
  • Azure Database for MySQL
  • SQL
    • 제품 설명서에서 Azure VM의 SQL 지침을 찾을 수 있습니다.
    • 제품 설명서에서 Azure SQL 및 Azure SQL Managed Instance 지침을 찾을 수 있습니다.

다음 단계

이제 시나리오의 아키텍처에 대해 알아보았으므로, 시나리오 세부 정보에 대해 알아볼 수 있습니다.