Microsoft Fabric에서 Data Factory로 마이그레이션

  • 아티클

Microsoft Fabric의 Data Factory는 파워 쿼리와 Azure Data Factory를 최신 신뢰할 수 있는 데이터 통합 환경으로 통합하여 데이터 및 비즈니스 전문가가 조직의 데이터를 추출, 로드 및 변환할 수 있도록 합니다. 또한 강력한 데이터 오케스트레이션 기능을 사용하면 데이터 통합 요구 사항에 필요한 단계를 오케스트레이션하는 단순하고 복잡한 데이터 워크플로를 빌드할 수 있습니다.

Microsoft Fabric의 Data Factory의 주요 개념

  • 데이터 가져오기 및 변환 - 데이터 흐름 Gen2는 Power BI에서 데이터 흐름의 진화입니다. 데이터 흐름 Gen2는 데이터 처리 및 변환에 패브릭 컴퓨팅 엔진을 사용하도록 다시 아키텍처가 지정됩니다. 이렇게 하면 모든 규모의 데이터를 수집하고 변환할 수 있습니다.

  • 데이터 오케스트레이션 - ADF(Azure Data Factory) 사용자에게 이미 익숙한 데이터 파이프라인을 사용하여 Microsoft Fabric은 ADF에서 제공하는 것과 동일한 오케스트레이션 기능을 사용할 수 있습니다. 패브릭 GA 릴리스의 일부로 데이터 파이프라인은 ADF에서 사용할 수 있는 대부분의 활동을 지원합니다.

    Fabric에서 데이터 파이프라인의 일부인 이 활동 목록을 참조하세요. SSIS 작업은 2분기 CY2024까지 데이터 파이프라인에 추가됩니다.

  • 엔터프라이즈 지원 데이터 이동 - 작은 데이터 이동이든 페타바이트 규모이든 Data Factory는 다양한 데이터 원본과 데이터 대상 간에 데이터를 안정적으로 이동할 수 있는 서버리스 지능형 데이터 이동 플랫폼을 제공합니다. 170개 이상의 커넥터를 지원하는 Microsoft Fabric의 Data Factory를 사용하면 다중 클라우드, 온-프레미스 데이터 원본 및 VNet(가상 네트워크) 내에서 데이터를 이동할 수 있습니다. 지능형 처리량 최적화를 사용하면 데이터 이동 플랫폼이 데이터 이동에 필요한 컴퓨팅 크기를 자동으로 검색할 수 있습니다.

ADF(Azure Data Factory)에서 마이그레이션

고객이 ADF(Azure Data Factory)에서 Microsoft Fabric으로 업그레이드할 수 있도록 하기 위해 다음 기능을 지원합니다.

  • 데이터 파이프라인 활동 - ADF에서 Fabric의 Data Factory에 이미 사용하는 대부분의 활동을 지원합니다. 또한 알림에 대한 새 활동(예: Teams 및 Outlook 활동)을 추가했습니다. Fabric의 Data Factory에서 사용할 수 있는 이 활동 목록을 참조하세요.

  • Azure Data Factory 의 OneLake/Lakehouse 커넥터 - 많은 ADF 고객의 경우 이제 Microsoft Fabric과 통합하고 패브릭 OneLake로 데이터를 가져올 수 있습니다.

  • Azure Data Factory 데이터 흐름을 패브릭에 매핑 - Fabric에서 새로운 데이터 변환을 빌드하는 것을 고려하는 ADF 고객을 위한 이 가이드를 제공합니다.

    또한 ADF 매핑 데이터 흐름을 패브릭으로 마이그레이션하려는 고객의 경우 Fabric CAT(Fabric 고객 자문 팀)의 샘플 코드를 적용하여 매핑 데이터 흐름을 Spark 코드로 변환할 수 있습니다. 데이터 흐름을 Microsoft Fabric에 매핑하는 방법을 자세히 알아보세요.

Microsoft Fabric의 Data Factory 로드맵의 일환으로 2분기 CY2024까지 다음 미리 보기를 위해 노력하고 있습니다.

  • 패브릭 에서 ADF 탑재 - 이 기능을 사용하면 고객이 Microsoft Fabric에서 기존 ADF를 탑재할 수 있습니다. 모든 ADF 파이프라인은 그대로 작동하며 Azure에서 계속 실행되며 패브릭을 탐색하고 보다 포괄적인 업그레이드 계획을 수립할 수 있습니다.
  • ADF 파이프라인에서 패브릭으로 업그레이드 - ADF에서 Fabric 으로의 데이터 파이프라인 업그레이드를 가장 잘 지원할 수 있는 방법을 알아보기 위해 고객 및 커뮤니티와 협력하고 있습니다. 이 작업의 일환으로 데이터 파이프라인 탑재 및 업그레이드를 사용하여 Fabric에서 기존 데이터 파이프라인을 테스트할 수 있는 업그레이드 환경을 제공합니다.

Power BI Dataflow Gen1을 Fabric의 Dataflow Gen2로 마이그레이션

Fabric의 데이터 흐름 Gen2는 Power BI의 Gen1(데이터 흐름)에 비해 많은 이점과 새로운 기능을 제공합니다.

  • 대규모 데이터 가져오기("빠른 복사")
  • 대규모 데이터 변환(Fabric Lakehouse SQL 엔진 사용)
  • 추가 출력 대상: Azure SQL DB, Lakehouse, Warehouse, SharePoint, KQL 데이터베이스 등
  • 향상된 새로 고침 기록 및 모니터링 환경
  • 향상된 제작 및 게시 환경.

고객이 기존 Dataflow Gen1 시나리오를 다시 만들거나 새 시나리오를 사용해 보기 위해 Dataflow Gen2를 사용해보는 것이 좋습니다. Dataflow Gen2에 대한 초기 피드백은 제품 기능을 발전시키고 완성도 있게 하는 데 도움이 됩니다.

고객이 Gen1 데이터 흐름을 Dataflow Gen2로 다시 만들 수 있는 몇 가지 옵션이 있습니다.

  • Dataflow Gen1 쿼리를 내보내고 Dataflow Gen2로 가져오기: 이제 데이터 흐름 및 Dataflow Gen2 작성 환경 모두에서 쿼리를 내보낸 다음 Dataflow Gen2로 가져올 수 있는 PQT 파일에 저장할 수 있습니다. 자세한 내용은 템플릿 내보내기 기능 사용을 참조 하세요.
  • 파워 쿼리에 복사하여 붙여넣기: Power BI 또는 Power Apps에 데이터 흐름이 있는 경우 쿼리를 복사하여 Dataflow Gen2 아티팩트 편집 환경에 붙여넣을 수 있습니다. 이 기능을 사용하면 쿼리를 다시 작성하지 않고도 데이터 흐름을 Gen2로 마이그레이션할 수 있습니다. 자세한 내용은기존 데이터 흐름(Gen1) 쿼리 복사 및 붙여넣기를 참조하세요.

추가 고려 사항은 다음 문서를 참조하세요 . Dataflow Gen1과 Gen2 간의 차이점

관련 콘텐츠