이 문서를 Microsoft Fabric Azure Synapse Spark 워크로드를 마이그레이션하기 위한 시작점으로 사용합니다. 사용할 지침, 직접 마이그레이션할 수 있는 지침 및 수동 리팩터링 또는 유효성 검사가 여전히 필요한 위치를 결정하는 데 도움이 됩니다.
Fabric Data Engineering은 lakehouse, 노트북, 환경, Spark 작업 정의 및 파이프라인 항목을 지원합니다. 대부분의 Synapse Spark 마이그레이션에는 항목 마이그레이션, 데이터 액세스 변경, 메타데이터 마이그레이션, 코드 리팩터링 및 마이그레이션 후 유효성 검사의 조합이 포함됩니다.
마이그레이션하기 전에
시작하기 전에 Fabric Data Engineering이 워크로드에 적합한 대상인지 확인합니다. 현재 Synapse 구현이 의존하는 Spark 런타임, 보안 모델, 풀 모델, 환경 모델 및 데이터 액세스 패턴을 검토합니다.
다음 문서로 시작합니다.
기존 Synapse 작업 영역을 마이그레이션하는 경우 기존 Fabric 작업 영역을 마이그레이션 대상으로 만들거나 사용하도록 계획합니다. 이 문서에서는 전체 작업 영역 프로비저닝 또는 비 Spark 워크로드 마이그레이션을 다루지 않습니다.
마이그레이션할 수 있는 항목
Synapse-Fabric 마이그레이션은 일반적으로 여러 작업 스트림에 걸쳐 있습니다.
| 마이그레이션 영역 | 일반적인 범위 | 기본 지침 |
|---|---|---|
| 계획 및 평가 | 인벤토리 Spark 풀, Notebook, Spark 작업 정의, 레이크 데이터베이스, 연결된 서비스 및 차단기 | 1단계: 마이그레이션 전략 및 계획 |
| 항목, 코드 리팩터링, 풀, 구성 및 라이브러리 | Notebooks, Spark 작업 정의, Spark 풀, 레이크 데이터베이스 매핑, mssparkutils연결된 서비스, 파일 경로, 카탈로그 API, 커넥터 인증, 환경, 사용자 지정 풀, Spark 속성, 라이브러리 호환성 |
2단계: Spark 워크로드 마이그레이션 |
| Hive 메타스토어 (Hive Metastore) 및 레이크 메타데이터 (Lake Metadata) | 데이터베이스, 테이블, 파티션, 관리 테이블 및 외부 테이블 | 3단계: Hive Metastore 및 데이터 마이그레이션 |
| 데이터 액세스 및 파이프라인 | OneLake 바로 가기, ADLS Gen2 액세스, 복사 작업, 파이프라인 마이그레이션 | 데이터 및 파이프라인 마이그레이션 |
| 보안, 유효성 검사 및 전환 | 역할, 연결, 거버넌스, 확인, 중단 계획 | 4단계: 보안 및 거버넌스 마이그레이션 |
마이그레이션 경로 선택
목표와 일치하는 경로를 사용합니다.
- 종단 간 마이그레이션 계획이 필요합니다. 4단계 모범 사례 시리즈로 시작합니다. 대부분의 프로덕션 마이그레이션에 가장 적합한 진입점입니다.
- 지원되는 Spark 항목을 신속하게 이동하려고 합니다. Spark Migration Assistant 시작한 다음 리팩터링 및 유효성 검사 문서를 사용하여 간격을 닫습니다.
- 한 영역에만 도움이 필요합니다. Notebook, Spark 작업 정의, 풀, 라이브러리, Hive Metastore 메타데이터 또는 데이터/파이프라인 마이그레이션에 관한 작업별 문서를 사용하세요.
권장 읽기 순서
대부분의 팀에서 Synapse Spark 마이그레이션에 접근하는 가장 빠른 방법은 다음과 같습니다.
- Compare Fabric 및 Azure Synapse Spark: 주요 차이점 검토합니다.
- 1단계 읽기: 마이그레이션 전략 및 계획.
- 해당하는 경우 Spark Synapse to Fabric Spark Migration Assistant를 실행하십시오.
- 2단계: Spark 워크로드 마이그레이션을 사용하여 Notebook, Spark 작업, 풀 및 라이브러리를 리팩터링합니다.
- 남아 있는 모범 사례 문서를 사용하여 데이터 액세스, 메타데이터, 보안 및 전환 준비 상태를 유효성 검사합니다.
Synapse Spark에서 Fabric으로의 이전은 일반적으로 직접 이동이 아니라 복사 및 적응하는 프로세스입니다. 자산을 신속하게 마이그레이션할 수 있지만, 런타임 동작을 확인하고 Synapse 전용 통합을 교체하며, 보안, 메타데이터 및 운영 패턴을 Fabric에 맞게 조정해야 합니다.
모범 사례 시리즈
구조적 엔드 투 엔드 마이그레이션 경로에 대한 모범 사례 시리즈를 사용합니다.
작업별 마이그레이션 문서
특정 마이그레이션 작업에 대한 대상 지침이 필요한 경우 다음 문서를 사용합니다.
- 스파크 Synapse에서 Fabric 스파크 마이그레이션 도우미로
- Azure Synapse Notebook을 Fabric으로 마이그레이션
- Spark 작업 정의를 Azure Synapse에서 Fabric으로 마이그레이션합니다
- Spark 풀을 Azure Synapse에서 Fabric으로 이전합니다
- Spark 구성을 Azure Synapse에서 Fabric으로 변경합니다
- Azure Synapse에서 Fabric으로 Spark 라이브러리를 이동합니다
- Hive Metastore 메타데이터를 마이그레이션하기
- 데이터 및 파이프라인 마이그레이션
관련 콘텐츠
- Fabric 및 Azure Synapse Spark 호환성: 주요 차이점
- 1단계: 마이그레이션 전략 및 계획
- Spark Synapse에서 Fabric Spark Migration Assistant
- Spark 풀, 구성, 라이브러리, 노트북 및 Spark 작업 정의에 대한 마이그레이션 옵션에 대해 자세히 알아보기
- 데이터 및 파이프라인 마이그레이션
- Hive 메타스토어 메타데이터 마이그레이션