Microsoft Fabric 내 Data Factory 마이그레이션
Microsoft Fabric의 Data Factory는 파워 쿼리와 Azure Data Factory를 최신 신뢰할 수 있는 데이터 통합 환경으로 통합하여 데이터 및 비즈니스 전문가가 조직의 데이터를 추출, 로드 및 변환할 수 있도록 합니다. 또한 강력한 데이터 오케스트레이션 기능을 사용하면 데이터 통합 요구 사항에 필요한 단계를 오케스트레이션하는 단순하고 복잡한 데이터 워크플로를 빌드할 수 있습니다.
Microsoft Fabric Data Factory의 주요 개념
데이터 가져오기 및 변환 - 데이터 흐름 2세대는 Power BI에서 데이터 흐름의 진화입니다. 데이터 흐름 Gen2는 데이터 처리 및 변환에 패브릭 컴퓨팅 엔진을 사용하도록 다시 아키텍처가 지정됩니다. 이렇게 하면 모든 규모의 데이터를 수집하고 변환할 수 있습니다.
데이터 오케스트레이션 - ADF(Azure Data Factory) 사용자에게 이미 익숙한 데이터 파이프라인을 사용하여 Microsoft Fabric은 ADF에서 제공하는 것과 동일한 오케스트레이션 기능을 사용할 수 있습니다. 패브릭 GA 릴리스의 일부로 데이터 파이프라인은 ADF에서 사용할 수 있는 대부분의 활동을 지원합니다.
Fabric에서 데이터 파이프라인의 일부인 이 활동 목록을 참조하세요.
엔터프라이즈 지원 데이터 이동 - 작은 데이터 이동이든 페타바이트 규모이든 데이터 팩터리는 다양한 데이터 원본과 데이터 대상 간에 데이터를 안정적으로 이동할 수 있는 서버리스 지능형 데이터 이동 플랫폼을 제공합니다. 170개 이상의 커넥터를 지원하는 Microsoft Fabric의 데이터 팩터리를 사용하면 다중 클라우드, 온-프레미스 데이터 원본 및 VNet(가상 네트워크) 내에서 데이터를 이동할 수 있습니다. 지능형 처리량 최적화를 사용하면 데이터 이동 플랫폼이 데이터 이동에 필요한 컴퓨팅 크기를 자동으로 검색할 수 있습니다.
ADF(Azure Data Factory)에서 마이그레이션
고객이 ADF(Azure Data Factory)에서 Microsoft Fabric으로 업그레이드할 수 있도록 지원하기 위해 다음 기능을 지원합니다.
데이터 파이프라인 활동 - ADF에서 Fabric의 Data Factory에 이미 사용하는 대부분의 활동을 지원합니다. 또한 알림에 대한 새 활동(예: Teams 및 Outlook 활동)이 추가되었습니다. Fabric의 데이터 팩터리에서 사용할 수 있는 이 활동 목록을 참조하세요.
Azure Data Factory의 OneLake/Lakehouse 커넥터 - 많은 ADF 고객의 경우 이제 Microsoft Fabric과 통합하고 Fabric OneLake로 데이터를 가져올 수 있습니다.
Azure Data Factory 데이터 흐름을 Fabric에 매핑 - Fabric에서 새로운 데이터 변환을 빌드하는 것을 고려하는 ADF 고객을 위한 이 가이드를 제공합니다.
또한 ADF 매핑 데이터 흐름을 Fabric으로 마이그레이션하려는 고객의 경우 Fabric CAT(Fabric 고객 자문 팀)의 샘플 코드를 적용하여 매핑 데이터 흐름을 Spark 코드로 변환할 수 있습니다. 데이터 흐름을 Microsoft Fabric에 매핑하는 방법을 자세히 알아보세요.
Fabric의 Azure Data Factory(프리뷰) - Fabric 작업 영역에서 기존 ADF 팩터리에 연결할 수 있는 새로운 기능이 도입되었습니다. 이제 Fabric Data Factory 작업 영역 내에서 "Azure Data Factory"를 클릭하면 Fabric 작업 영역 UI에서 직접 ADF 팩터리를 완전히 관리할 수 있습니다. ADF에서와 마찬가지로 Fabric 내에서 직접 파이프라인을 트리거, 실행 및 모니터링할 수 있습니다.
Microsoft Fabric의 데이터 팩터리 로드맵의 일환으로 2분기 CY2024까지 다음 프리뷰를 제공하기 위해 노력하고 있습니다.
- ADF 파이프라인에서 Fabric으로 업그레이드 - ADF에서 Fabric으로의 데이터 파이프라인 업그레이드를 가장 잘 지원할 수 있는 방법을 알아보기 위해 고객 및 커뮤니티와 협력하고 있습니다. 이 작업의 일환으로 데이터 파이프라인 탑재 및 업그레이드를 사용하여 Fabric에서 기존 데이터 파이프라인을 테스트할 수 있는 업그레이드 환경을 제공합니다.
Power BI Dataflow Gen1을 Fabric의 Dataflow Gen2로 마이그레이션
Fabric의 Dataflow Gen2는 Power BI의 Dataflow(Gen1)에 비해 많은 이점과 새로운 기능을 제공합니다.
- 대규모 데이터 가져오기("빠른 복사")
- 대규모 데이터 변환(Fabric Lakehouse SQL 엔진 사용)
- 추가 출력 대상: Azure SQL DB, 레이크하우스, 웨어하우스, SharePoint, KQL 데이터베이스 등
- 향상된 새로 고침 기록 및 모니터링 환경
- 향상된 제작 및 게시 환경.
고객이 기존 Dataflow Gen1 시나리오를 다시 만들거나 새 시나리오를 사용해 보기 위해 Dataflow Gen2를 사용해보는 것이 좋습니다. Dataflow Gen2에 대한 초기 피드백은 제품 기능을 발전시키고 완성도를 높이는 데 도움이 됩니다.
고객이 Gen1의 데이터 흐름을 Dataflow Gen2로 다시 만들 수 있는 몇 가지 옵션이 있습니다.
- Dataflow Gen1 쿼리를 내보내고 Dataflow Gen2로 가져오기: 이제 데이터 흐름 및 Dataflow Gen2 작성 환경 모두에서 쿼리를 내보낸 다음 Dataflow Gen2로 가져올 수 있는 PQT 파일에 저장할 수 있습니다. 자세한 내용은 템플릿 내보내기 기능 사용을 참조하세요.
- Power Query에서 복사 및 붙여넣기: Power BI 또는 Power Apps에 데이터 흐름이 있는 경우 쿼리를 복사하여 Dataflow Gen2 아티팩트의 편집 환경에서 붙여넣을 수 있습니다. 이 기능을 사용하면 쿼리를 다시 작성하지 않고도 데이터 흐름을 Gen2로 마이그레이션할 수 있습니다. 자세한 내용은 기존 데이터 흐름(Gen1) 쿼리 복사 및 붙여넣기를 참조하세요.
추가 고려 사항은 다음 문서를 참조하세요. Dataflow Gen1과 Gen2 간의 차이점