다음을 통해 공유

Azure Synapse Spark에서 Fabric으로 마이그레이션

  • 아티클

마이그레이션을 시작하기 전에 Fabric 데이터 엔지니어링이 워크로드에 가장 적합한 솔루션인지 확인해야 합니다. Fabric 데이터 엔지니어 Lakehouse, Notebook, 환경, SJD(Spark 작업 정의) 및 데이터 파이프라인 항목(다양한 런타임 및 Spark 기능 지원 포함)을 지원합니다.

주요 고려 사항

마이그레이션 전략을 만드는 초기 단계는 적합성을 평가하는 것입니다. Spark와 관련된 특정 Fabric 기능은 현재 개발 또는 계획 중입니다. 자세한 내용 및 업데이트는 Fabric 로드맵을 참조하세요.

Spark의 경우 Azure Synapse Spark와 Fabric 간의 자세한 비교 차이점을 참조하세요.

마이그레이션 시나리오

Fabric 데이터 엔지니어링이 기존 Spark 워크로드를 마이그레이션하는 데 적합한 선택이라고 판단하는 경우 마이그레이션 프로세스에는 여러 시나리오 및 단계가 포함될 수 있습니다.

  • 항목: 항목 마이그레이션에는 기존 Azure Synapse 작업 영역에서 Fabric으로 하나 이상의 다양한 항목이 전송됩니다. Spark 풀, Spark 구성, Spark 라이브러리, Notebook 및 Spark 작업 정의를 마이그레이션하는 방법에 대해 자세히 알아봅니다.
  • 데이터 및 파이프라인: OneLake 바로 가기를 사용하여 Fabric Lakehouse에서 ADLS Gen2 데이터(Azure Synapse 작업 영역에 연결됨)를 사용할 수 있도록 할 수 있습니다. 파이프라인 마이그레이션에는 Notebook 및 Spark 작업 정의 파이프라인 작업을 포함하여 기존 데이터 파이프라인을 Fabric으로 이동하는 작업이 포함됩니다. 데이터 및 파이프라인 마이그레이션에 대해 자세히 알아봅니다.
  • 메타데이터: 메타데이터 마이그레이션에는 Azure Synapse의 기존 Hive MetaStore(HMS)에서 Fabric Lakehouse로 Spark 카탈로그 메타데이터(데이터베이스, 테이블 및 파티션)를 이동하는 작업이 포함됩니다. HMS 메타데이터 마이그레이션에 대해 자세히 알아봅니다.
  • 작업 영역: 사용자는 메타데이터를 포함하여 Microsoft Fabric에서 새 작업 영역을 만들어 기존 Azure Synapse 작업 영역을 마이그레이션할 수 있습니다. 작업 영역 마이그레이션은 이 지침에서 다루지 않으며 사용자가 새 작업 영역을 만들거나 기존 패브릭 작업 영역을 가져야 한다고 가정합니다. Fabric의 작업 영역 역할에 대해 자세히 알아봅니다.

마이그레이션 시나리오를 보여 주는 스크린샷

Azure Synapse Spark에서 Fabric Spark로 전환하려면 현재 아키텍처와 Azure Synapse Spark와 Fabric 간의 차이점을 깊이 이해해야 합니다. 첫 번째 중요한 단계는 평가 후 자세한 마이그레이션 계획을 만드는 것입니다. 이 계획은 시스템의 고유한 특성, 단계 종속성 및 워크로드 복잡성과 일치하도록 사용자 지정할 수 있습니다.

관련 콘텐츠