마이그레이션 계획: Azure Synapse Analytics 전용 SQL 풀에서 Fabric Data Warehouse로

적용 대상: Microsoft Fabric의✅ Warehouse

이 글에서는 Azure Synapse Analytics 전용 SQL 풀에서 Microsoft Fabric Data Warehouse으로 마이그레이션하는 전략, 고려사항 및 방법을 설명합니다.

팁 (조언)

Fabric Migration Assistant for Data Warehouse를 사용하여 Azure Synapse Analytics 전용 SQL 풀에서 자동화된 마이그레이션 경험을 제공합니다. 이 문서에는 중요한 전략 및 계획 정보가 포함되어 있습니다.

마이그레이션 소개

Microsoft Fabric은 기업을 위한 올인원 SaaS 분석 솔루션입니다. 데이터 팩토리, 데이터 엔지니어링, 데이터 웨어하우징, 데이터 사이언스, Real-Time 인텔리전스, Power BI 등 포괄적인 서비스 범위를 제공합니다.

이 글에서는 스키마(DDL), 데이터베이스 코드(DML), 데이터 마이그레이션 옵션을 설명하며, 시나리오에 맞는 옵션을 선택하는 데 도움을 줍니다. 이 프로그램은 일러스트레이션 및 성능 테스트를 위해 TPC-DS 업계 벤치마크를 사용합니다. 데이터 유형, 테이블 너비, 소스 지연 시간 등 여러 요인에 따라 결과가 다를 수 있습니다.

마이그레이션 준비

마이그레이션 프로젝트를 시작하기 전에 신중히 계획하고, 스키마, 코드, 데이터가 Fabric Data Warehouse와 호환되는지 확인하세요. 한계를 고려해 보세요. 호환되지 않는 항목 리팩토링에 필요한 작업량과 마이그레이션을 수행하는 데 필요한 기타 자원을 정량화하세요.

계획의 또 다른 핵심 목표는 Fabric Data Warehouse 쿼리 성능을 최대한 활용할 수 있도록 설계를 조정하는 것입니다. 확장을 위한 데이터 웨어하우스의 디자인은 고유한 디자인 패턴을 도입하므로 일반적인 접근 방식이 항상 최선은 아닙니다. 성과 지침을 검토하세요. 마이그레이션 후에 일부 설계 조정을 할 수 있지만, 더 일찍 변경하면 시간과 노력을 절약할 수 있습니다. 한 기술이나 환경에서 다른 기술로 이전하는 것은 항상 큰 노력입니다.

다음 도표는 마이그레이션 수명주기와 그 다섯 축( 평가 및 평가, 계획 및 설계, 마이그레이션, 모니터링 및 관리, 최적화 및 현대화)과 관련된 작업을 보여줍니다.

평가 및 검토, 계획 및 설계, 마이그레이션, 모니터링 및 거버넌스, 최적화 및 현대화가 포함된 마이그레이션 수명 주기를 나타낸 다이어그램입니다.

마이그레이션을 위한 런북

Synapse 전용 SQL 풀에서 Fabric Data Warehouse로 마이그레이션하기 위한 계획 Runbook으로 다음 활동을 고려합니다.

  1. 분석 및 평가
    1. 목표와 동기를 식별합니다. 원하는 명확한 결과를 설정합니다.
    2. 기존 아키텍처를 파악하고 평가하며 기준선을 설정하세요.
    3. 주요 이해 관계자 및 스폰서를 식별합니다.
    4. 마이그레이션할 범위를 정의하세요.
      1. 작고 단순하게 시작해서 여러 번의 작은 이동을 준비하세요.
      2. 프로세스의 모든 단계를 모니터링하고 문서화합니다.
      3. 마이그레이션을 위한 데이터와 프로세스 목록을 구축하세요.
      4. 데이터 모델 변경 사항이 있다면 정의하세요.
      5. Fabric 작업 공간을 설정하세요.
    5. 팀의 역량과 선호도를 평가하세요.
      1. 가능한 모든 곳에서 자동화합니다.
      2. Azure 기본 제공 도구 및 기능을 사용하여 마이그레이션 작업을 줄입니다.
    6. 새 플랫폼에 대해 직원들을 초기에 교육합니다.
      1. Microsoft Learn을 포함하여 업스킬링 요구 사항 및 학습 자산을 식별합니다.
  2. 계획 및 디자인
    1. 원하는 아키텍처를 정의합니다.
    2. 다음 작업을 수행하기 위해 마이그레이션을 위한 방법과 도구를 선택하세요:
      1. 원본에서 데이터를 추출합니다.
      2. 스키마(DDL) 변환, 테이블과 뷰의 메타데이터를 포함합니다.
      3. 기록 데이터를 포함하여 데이터를 수집합니다.
        1. 필요하다면 새로운 플랫폼 성능과 확장성을 활용해 데이터 모델을 재설계하세요.
      4. DML(데이터베이스 코드) 마이그레이션
        1. 저장 프로시저 및 업무 프로세스를 마이그레이션하거나 리팩터링합니다.
    3. 원본에서 보안 기능 및 개체 권한을 인벤토리화하고 추출합니다.
    4. 증가적 부하에 맞춰 기존 ETL/ELT 프로세스를 교체하거나 수정할 계획을 세우세요.
      1. 새 환경에 대한 병렬 ETL/ELT 프로세스를 만듭니다.
    5. 자세한 마이그레이션 계획을 준비합니다.
      1. 현재 상태를 원하는 상태에 매핑하세요.
  3. 이주하다
    1. 스키마, 데이터, 코드 마이그레이션을 수행합니다.
      1. 원본에서 데이터를 추출합니다.
      2. 스키마(DDL) 변환.
      3. 데이터 수집
      4. DML(데이터베이스 코드) 마이그레이션
    2. 필요한 경우 마이그레이션 속도를 지원하기 위해 전용 SQL 풀 리소스를 일시적으로 확장합니다.
    3. 보안 및 권한을 적용합니다.
    4. 증분 로드를 위해 기존의 ETL/ELT 프로세스를 마이그레이션합니다.
      1. ETL/ELT 증분 로드 프로세스를 마이그레이션하거나 리팩터링합니다.
      2. 병렬 증분 부하 과정을 테스트하고 비교하세요.
    5. 필요에 따라 상세한 이주 계획을 조정하세요.
  4. 모니터링 및 제어
    1. 병렬로 실행하면서 소스 환경과 비교하세요.
      1. 애플리케이션, 비즈니스 인텔리전스 플랫폼 및 쿼리 도구를 테스트합니다.
      2. 쿼리 성능을 벤치마킹하고 최적화합니다.
      3. 비용, 보안 및 성능을 모니터링하고 관리합니다.
    2. 거버넌스 벤치마크와 평가를 수행하세요.
  5. 최적화 및 현대화
    1. 비즈니스가 안정되면 애플리케이션 및 기본 보고 플랫폼을 Fabric으로 전환합니다.
      1. 워크로드가 Azure Synapse Analytics에서 Microsoft Fabric로 전환될 때 자원을 확장하거나 축소할 수 있습니다.
      2. 향후 마이그레이션을 위해 얻은 경험을 바탕으로 반복 가능한 템플릿을 구축합니다. 반복.
      3. 비용 최적화, 보안, 확장성, 운영 우수성 기회를 식별합니다.
      4. 최신 Fabric 기능을 사용하여 데이터 자산을 현대화할 기회를 식별합니다.

리프트 앤 시프트 아니면 현대화?

일반적으로 계획된 마이그레이션의 목적과 범위에 관계없이 두 가지 형식의 마이그레이션 시나리오가 있습니다. 즉, 있는 그대로의 리프트 앤 시프트와 아키텍처 및 변경 내용을 통합하는 단계적 접근 방식입니다.

리프트 앤 시프트

리프트 앤 시프트 마이그레이션에서는 기존 데이터 모델을 새로운 Fabric Data Warehouse에 약간의 변경만 추가하여 마이그레이션합니다. 이 방법은 마이그레이션의 이점을 실현하는 데 필요한 새 작업을 줄여 위험과 마이그레이션 시간을 최소화합니다.

리프트 앤 시프트 마이그레이션은 다음 시나리오에 적합합니다.

  • 마이그레이션할 웨어하우스 수가 적은 기존 환경이 있습니다.
  • 이미 잘 설계된 별 모양 또는 눈송이 스키마에 있는 데이터가 있는 기존 환경이 있습니다.
  • 패브릭 데이터 웨어하우스로 이동해야 하는 시간과 비용 부담이 있습니다.

요약하자면, 이 접근법은 현재 Azure Synapse 전용 SQL 풀 환경에 최적화된 워크로드에 잘 맞고 Fabric의 큰 변경이 필요하지 않습니다.

아키텍처를 변경하여 단계적 접근 방식으로 현대화

레거시 데이터 웨어하우스가 오랜 기간 발전했다면, 필요한 성능 수준을 유지하기 위해 재설계가 필요할 수 있습니다.

또한 Fabric 작업 공간에서 제공되는 새로운 엔진과 기능을 활용하기 위해 아키텍처를 재설계하는 것도 고려할 수 있습니다.

디자인 차이점: Synapse 전용 SQL 풀 및 패브릭 데이터 웨어하우스

전용 SQL 풀을 Fabric Data Warehouse와 비교하여 다음과 같은 Azure Synapse 및 Microsoft Fabric 데이터 웨어하우징 차이점을 고려합니다.

테이블 관련 고려 사항

서로 다른 환경 간에 테이블을 마이그레이션할 때 일반적으로 원시 데이터와 메타데이터만 실제로 마이그레이션됩니다. 보통 인덱스와 같은 다른 데이터베이스 요소는 소스 시스템에서 마이그레이션하지 않는데, 이는 새 환경에서 불필요하거나 다르게 구현될 수 있기 때문입니다.

소스 환경에서의 성능 최적화, 예를 들어 인덱스는 새로운 환경에서 최적화가 필요할 수 있는 부분을 알려줍니다. Fabric은 이러한 최적화를 자동으로 관리합니다.

T-SQL 고려 사항

데이터 조작 언어(DML) 문법 차이가 여러 가지 있습니다. Fabric Data Warehouse에서 T-SQL 표면적을 검토하고 데이터베이스 코드 마이그레이션 방법을 선택할 때 코드 평가를 수행하세요.

마이그레이션 시 Parity 차이에 따라 T-SQL DML 코드의 일부를 다시 작성해야 할 수 있습니다.

데이터 형식 매핑 차이점

Fabric Data Warehouse는 Azure Synapse Analytics 전용 SQL 풀과 비교해 몇 가지 데이터 형식 차이가 있습니다. 자세한 내용은 Microsoft Fabric의 데이터 형식을 참조하세요.

다음 표는 Azure Synapse 전용 SQL 풀에서 Fabric Data Warehouse로 지원되는 데이터 타입의 매핑 과정을 보여줍니다.

Synapse 전용 SQL 풀 패브릭 데이터 웨어하우스
money decimal(19,4)
smallmoney decimal(10,4)
smalldatetime datetime2
datetime datetime2
nchar char
nvarchar varchar
tinyint 스몰인트
binary varbinary
Datetimeoffset* datetime2

* Datetime2 는 datetimeoffset 이 저장하는 추가 시간대 오프셋 정보를 저장하지 않습니다. 현재 Fabric Data Warehouse datetimeoffset 데이터 타입을 지원하지 않으므로, 시간대 오프셋 데이터를 별도의 열로 추출해야 합니다.

팁 (조언)

마이그레이션할 준비가 되었나요?

자동화된 마이그레이션 환경을 시작하려면 데이터 웨어하우스용 Fabric Migration Assistant를 참조하세요.

더 많은 수동 마이그레이션 단계와 자세한 내용은 Fabric Data Warehouse 전용 SQL 풀 Azure Synapse Analytics 마이그레이션 방법을 참조하세요.