적용 대상: Microsoft Fabric의✅ Warehouse
이 글에서는 Azure Synapse Analytics 전용 SQL 풀에서 Microsoft Fabric Data Warehouse으로 마이그레이션하는 전략, 고려사항 및 방법을 설명합니다.
팁 (조언)
Fabric Migration Assistant for Data Warehouse를 사용하여 Azure Synapse Analytics 전용 SQL 풀에서 자동화된 마이그레이션 경험을 제공합니다. 이 문서에는 중요한 전략 및 계획 정보가 포함되어 있습니다.
마이그레이션 소개
Microsoft Fabric은 기업을 위한 올인원 SaaS 분석 솔루션입니다. 데이터 팩토리, 데이터 엔지니어링, 데이터 웨어하우징, 데이터 사이언스, Real-Time 인텔리전스, Power BI 등 포괄적인 서비스 범위를 제공합니다.
이 글에서는 스키마(DDL), 데이터베이스 코드(DML), 데이터 마이그레이션 옵션을 설명하며, 시나리오에 맞는 옵션을 선택하는 데 도움을 줍니다. 이 프로그램은 일러스트레이션 및 성능 테스트를 위해 TPC-DS 업계 벤치마크를 사용합니다. 데이터 유형, 테이블 너비, 소스 지연 시간 등 여러 요인에 따라 결과가 다를 수 있습니다.
마이그레이션 준비
마이그레이션 프로젝트를 시작하기 전에 신중히 계획하고, 스키마, 코드, 데이터가 Fabric Data Warehouse와 호환되는지 확인하세요. 한계를 고려해 보세요. 호환되지 않는 항목 리팩토링에 필요한 작업량과 마이그레이션을 수행하는 데 필요한 기타 자원을 정량화하세요.
계획의 또 다른 핵심 목표는 Fabric Data Warehouse 쿼리 성능을 최대한 활용할 수 있도록 설계를 조정하는 것입니다. 확장을 위한 데이터 웨어하우스의 디자인은 고유한 디자인 패턴을 도입하므로 일반적인 접근 방식이 항상 최선은 아닙니다. 성과 지침을 검토하세요. 마이그레이션 후에 일부 설계 조정을 할 수 있지만, 더 일찍 변경하면 시간과 노력을 절약할 수 있습니다. 한 기술이나 환경에서 다른 기술로 이전하는 것은 항상 큰 노력입니다.
다음 도표는 마이그레이션 수명주기와 그 다섯 축( 평가 및 평가, 계획 및 설계, 마이그레이션, 모니터링 및 관리, 최적화 및 현대화)과 관련된 작업을 보여줍니다.
마이그레이션을 위한 런북
Synapse 전용 SQL 풀에서 Fabric Data Warehouse로 마이그레이션하기 위한 계획 Runbook으로 다음 활동을 고려합니다.
-
분석 및 평가
- 목표와 동기를 식별합니다. 원하는 명확한 결과를 설정합니다.
- 기존 아키텍처를 파악하고 평가하며 기준선을 설정하세요.
- 주요 이해 관계자 및 스폰서를 식별합니다.
- 마이그레이션할 범위를 정의하세요.
- 작고 단순하게 시작해서 여러 번의 작은 이동을 준비하세요.
- 프로세스의 모든 단계를 모니터링하고 문서화합니다.
- 마이그레이션을 위한 데이터와 프로세스 목록을 구축하세요.
- 데이터 모델 변경 사항이 있다면 정의하세요.
- Fabric 작업 공간을 설정하세요.
- 팀의 역량과 선호도를 평가하세요.
- 가능한 모든 곳에서 자동화합니다.
- Azure 기본 제공 도구 및 기능을 사용하여 마이그레이션 작업을 줄입니다.
- 새 플랫폼에 대해 직원들을 초기에 교육합니다.
- Microsoft Learn을 포함하여 업스킬링 요구 사항 및 학습 자산을 식별합니다.
-
계획 및 디자인
- 원하는 아키텍처를 정의합니다.
- 다음 작업을 수행하기 위해 마이그레이션을 위한 방법과 도구를 선택하세요:
- 원본에서 데이터를 추출합니다.
- 스키마(DDL) 변환, 테이블과 뷰의 메타데이터를 포함합니다.
- 기록 데이터를 포함하여 데이터를 수집합니다.
- 필요하다면 새로운 플랫폼 성능과 확장성을 활용해 데이터 모델을 재설계하세요.
- DML(데이터베이스 코드) 마이그레이션
- 저장 프로시저 및 업무 프로세스를 마이그레이션하거나 리팩터링합니다.
- 원본에서 보안 기능 및 개체 권한을 인벤토리화하고 추출합니다.
- 증가적 부하에 맞춰 기존 ETL/ELT 프로세스를 교체하거나 수정할 계획을 세우세요.
- 새 환경에 대한 병렬 ETL/ELT 프로세스를 만듭니다.
- 자세한 마이그레이션 계획을 준비합니다.
- 현재 상태를 원하는 상태에 매핑하세요.
-
이주하다
- 스키마, 데이터, 코드 마이그레이션을 수행합니다.
- 원본에서 데이터를 추출합니다.
- 스키마(DDL) 변환.
- 데이터 수집
- DML(데이터베이스 코드) 마이그레이션
- 필요한 경우 마이그레이션 속도를 지원하기 위해 전용 SQL 풀 리소스를 일시적으로 확장합니다.
- 보안 및 권한을 적용합니다.
- 증분 로드를 위해 기존의 ETL/ELT 프로세스를 마이그레이션합니다.
- ETL/ELT 증분 로드 프로세스를 마이그레이션하거나 리팩터링합니다.
- 병렬 증분 부하 과정을 테스트하고 비교하세요.
- 필요에 따라 상세한 이주 계획을 조정하세요.
- 스키마, 데이터, 코드 마이그레이션을 수행합니다.
-
모니터링 및 제어
- 병렬로 실행하면서 소스 환경과 비교하세요.
- 애플리케이션, 비즈니스 인텔리전스 플랫폼 및 쿼리 도구를 테스트합니다.
- 쿼리 성능을 벤치마킹하고 최적화합니다.
- 비용, 보안 및 성능을 모니터링하고 관리합니다.
- 거버넌스 벤치마크와 평가를 수행하세요.
- 병렬로 실행하면서 소스 환경과 비교하세요.
-
최적화 및 현대화
- 비즈니스가 안정되면 애플리케이션 및 기본 보고 플랫폼을 Fabric으로 전환합니다.
- 워크로드가 Azure Synapse Analytics에서 Microsoft Fabric로 전환될 때 자원을 확장하거나 축소할 수 있습니다.
- 향후 마이그레이션을 위해 얻은 경험을 바탕으로 반복 가능한 템플릿을 구축합니다. 반복.
- 비용 최적화, 보안, 확장성, 운영 우수성 기회를 식별합니다.
- 최신 Fabric 기능을 사용하여 데이터 자산을 현대화할 기회를 식별합니다.
- 비즈니스가 안정되면 애플리케이션 및 기본 보고 플랫폼을 Fabric으로 전환합니다.
리프트 앤 시프트 아니면 현대화?
일반적으로 계획된 마이그레이션의 목적과 범위에 관계없이 두 가지 형식의 마이그레이션 시나리오가 있습니다. 즉, 있는 그대로의 리프트 앤 시프트와 아키텍처 및 변경 내용을 통합하는 단계적 접근 방식입니다.
리프트 앤 시프트
리프트 앤 시프트 마이그레이션에서는 기존 데이터 모델을 새로운 Fabric Data Warehouse에 약간의 변경만 추가하여 마이그레이션합니다. 이 방법은 마이그레이션의 이점을 실현하는 데 필요한 새 작업을 줄여 위험과 마이그레이션 시간을 최소화합니다.
리프트 앤 시프트 마이그레이션은 다음 시나리오에 적합합니다.
- 마이그레이션할 웨어하우스 수가 적은 기존 환경이 있습니다.
- 이미 잘 설계된 별 모양 또는 눈송이 스키마에 있는 데이터가 있는 기존 환경이 있습니다.
- 패브릭 데이터 웨어하우스로 이동해야 하는 시간과 비용 부담이 있습니다.
요약하자면, 이 접근법은 현재 Azure Synapse 전용 SQL 풀 환경에 최적화된 워크로드에 잘 맞고 Fabric의 큰 변경이 필요하지 않습니다.
아키텍처를 변경하여 단계적 접근 방식으로 현대화
레거시 데이터 웨어하우스가 오랜 기간 발전했다면, 필요한 성능 수준을 유지하기 위해 재설계가 필요할 수 있습니다.
또한 Fabric 작업 공간에서 제공되는 새로운 엔진과 기능을 활용하기 위해 아키텍처를 재설계하는 것도 고려할 수 있습니다.
디자인 차이점: Synapse 전용 SQL 풀 및 패브릭 데이터 웨어하우스
전용 SQL 풀을 Fabric Data Warehouse와 비교하여 다음과 같은 Azure Synapse 및 Microsoft Fabric 데이터 웨어하우징 차이점을 고려합니다.
테이블 관련 고려 사항
서로 다른 환경 간에 테이블을 마이그레이션할 때 일반적으로 원시 데이터와 메타데이터만 실제로 마이그레이션됩니다. 보통 인덱스와 같은 다른 데이터베이스 요소는 소스 시스템에서 마이그레이션하지 않는데, 이는 새 환경에서 불필요하거나 다르게 구현될 수 있기 때문입니다.
소스 환경에서의 성능 최적화, 예를 들어 인덱스는 새로운 환경에서 최적화가 필요할 수 있는 부분을 알려줍니다. Fabric은 이러한 최적화를 자동으로 관리합니다.
T-SQL 고려 사항
데이터 조작 언어(DML) 문법 차이가 여러 가지 있습니다. Fabric Data Warehouse에서 T-SQL 표면적을 검토하고 데이터베이스 코드 마이그레이션 방법을 선택할 때 코드 평가를 수행하세요.
마이그레이션 시 Parity 차이에 따라 T-SQL DML 코드의 일부를 다시 작성해야 할 수 있습니다.
데이터 형식 매핑 차이점
Fabric Data Warehouse는 Azure Synapse Analytics 전용 SQL 풀과 비교해 몇 가지 데이터 형식 차이가 있습니다. 자세한 내용은 Microsoft Fabric의 데이터 형식을 참조하세요.
다음 표는 Azure Synapse 전용 SQL 풀에서 Fabric Data Warehouse로 지원되는 데이터 타입의 매핑 과정을 보여줍니다.
| Synapse 전용 SQL 풀 | 패브릭 데이터 웨어하우스 |
|---|---|
| money | decimal(19,4) |
| smallmoney | decimal(10,4) |
| smalldatetime | datetime2 |
| datetime | datetime2 |
| nchar | char |
| nvarchar | varchar |
| tinyint | 스몰인트 |
| binary | varbinary |
| Datetimeoffset* | datetime2 |
* Datetime2 는 datetimeoffset 이 저장하는 추가 시간대 오프셋 정보를 저장하지 않습니다. 현재 Fabric Data Warehouse datetimeoffset 데이터 타입을 지원하지 않으므로, 시간대 오프셋 데이터를 별도의 열로 추출해야 합니다.
팁 (조언)
마이그레이션할 준비가 되었나요?
자동화된 마이그레이션 환경을 시작하려면 데이터 웨어하우스용 Fabric Migration Assistant를 참조하세요.
더 많은 수동 마이그레이션 단계와 자세한 내용은 Fabric Data Warehouse 전용 SQL 풀 Azure Synapse Analytics 마이그레이션 방법을 참조하세요.