이 가이드는 Azure Data Factory(ADF) 파이프라인을 Fabric Data Factory로 이전하기 위한 업그레이드 전략, 의사결정 기준 및 단계별 접근법을 다룹니다. 각 업그레이드 구성 요소의 구현 수준 모범 사례는 '업그레이드 모범 사례'를 참조하세요.
업그레이드가 필요한 이유
ADF와 Synapse 파이프라인에서 Fabric Data Factory로의 업그레이드는 단순한 이동 이상의 의미가 있습니다: 거버넌스를 단순화하고, 패턴을 표준화하며, 새로운 기능을 활용해 데이터 통합 전략을 개선할 수 있는 기회입니다.
패브릭은 다음을 비롯한 다양한 새로운 기능을 제공합니다.
- 메시지 라우팅을 위한 전자 메일 및 Teams 와 같은 통합 파이프라인 활동
- 외부 Git 종속성이 없는 기본 제공 CI/CD(배포 파이프라인)
- 통합 분석을 위해 OneLake, Warehouse 및 Lakehouse 와 원활한 작업 영역 통합
- 셀프 서비스 및 엔터프라이즈 데이터 요구 사항을 모두 충족하도록 크기를 조정하는 간소화된 의미 체계 데이터 모델 새로 고침
- 파이프라인을 만들고 관리하는 데 도움이 되는 Copilot 가 포함된 기본 제공 AI 기능
자세한 비교는 Azure Data Factory 및 Fabric Data Factory 비교 가이드를 참조하세요.
중요한 아키텍처 차이점
Azure Data Factory에서 Fabric Data Factory로 업그레이드하기 전에, 업그레이드 계획에 가장 큰 영향을 미치는 다음과 같은 중요한 아키텍처 차이점들을 고려해 보세요:
| 카테고리 | Azure Data Factory | Fabric Data Factory | 업그레이드 영향 |
|---|---|---|---|
| 사용자 지정 코드 | 사용자 지정 작업 | Azure Batch 작업 | 활동 이름은 다르지만 동일한 기능을 지원합니다. |
| Dataflows | 스파크 기반 실행을 통한 데이터 흐름 매핑 | Dataflow Gen2는 Spark 기반 실행을 통한 매핑 Data Flow(MDF) 변환을 지원합니다. MDF 변환은 현재 미리보기 단계에 있습니다. | 적격한 Azure Data Factory와 Azure Synapse Analytics 매핑 데이터 플로우는 내장된 마이그레이션 경험을 통해 Dataflow Gen2의 MDF 변환으로 마이그레이션할 수 있습니다. 마이그레이션 전에 지원되는 커넥터, 변환, 인증 방법, 미리보기 제한 사항을 검토하세요. 지원되지 않는 시나리오의 경우, Dataflow Gen2의 파워 쿼리, Fabric Warehouse SQL, 노트북 또는 다른 Fabric 기능을 사용하여 변환을 재설계하세요. |
| 데이터 세트 | 재사용 가능한 별도의 데이터 세트 개체 | 속성은 활동 내에서 인라인으로 정의됩니다. | ADF에서 Fabric으로 변환하는 경우 '데이터 세트' 정보는 각 작업 내에 있습니다. |
| 동적 연결 | 연결된 서비스 속성은 매개 변수를 사용하여 동적일 수 있습니다. | 연결 속성은 동적 속성을 지원하지 않지만 파이프라인 활동은 연결 개체에 동적 콘텐츠를 사용할 수 있습니다. | 매개 변수가 있는 연결을 사용하는 메타데이터 기반 아키텍처 기반 솔루션의 경우 Fabric에서 연결 개체를 매개 변수화합니다. |
| 전역 매개 변수 | 전역 매개변수 | 패브릭 변수 라이브러리 | 구현 방식과 데이터 유형은 다르지만, 업그레이드 가이드도 있습니다. |
| HDInsight 활동 | 다섯 개의 개별 작업(Hive, Pig, MapReduce, Spark, Streaming) | 단일 HDInsight 작업 | 변환할 때 하나의 활동 유형만 필요하지만 모든 기능이 지원됩니다. |
| Identity | 관리되는 식별 | 패브릭 작업 영역 ID | 다른 신원 모델, 일부 계획이 필요합니다. |
| Key Vault (키 볼트) | 모든 인증 유형과 성숙한 통합 | Fabric Key Vault 참조를 통한 제한적 통합 | 현재 지원되는 Key Vault 원본 및 인증을 기존 구성과 비교합니다. |
| 파이프라인 실행 | 파이프라인 작업 실행 | FabricDataPipeline 연결 형식을 사용하여 파이프라인 작업 호출 | 변환할 때 활동 이름 및 연결 요구 사항이 변경됩니다. |
| Scheduling | 여러 파이프라인에 하나의 트리거 또는 파이프라인당 여러 트리거를 중앙 집중식으로 관리하기 | 파이프라인당 하나의 일정 또는 일정 재사용 또는 중앙 허브가 없는 파이프라인당 여러 일정 | Fabric 현재 파이프라인별 일정 관리가 필요합니다. |
업그레이드 경로
업그레이드 경로는 ADF 자산과 그 기능 동등성에 따라 달라집니다. 옵션은 다음과 같습니다.
- 연속성을 위해 Fabric의 Azure Data Factory 항목입니다. - Fabric 내에서 기존 Azure Data Factory 인스턴스의 실시간 뷰를 제공하여 점진적인 업그레이드 및 테스트를 가능하게 합니다. 이 경험은 전환 도구나 리플랫폼 사용을 시작하기 전에 좋은 첫걸음이기도 합니다.
- Azure Data Factory 파이프라인에 내장된 업그레이드 경험을 활용하세요 - Azure Data Factory에서 파이프라인 준비 상태를 직접 평가하고, 호환성 결과를 검토하며, 가이드 UX를 사용해 지원되는 파이프라인을 Fabric 작업 공간으로 업그레이드하세요.
- 복잡한 환경을 위한 수동 업그레이드 - Fabric에서 파이프라인을 재구축하여 새로운 기능을 활용하고 성능을 최적화합니다. 이 접근법은 패리티가 낮은 파이프라인이나 맞춤형 로직을 사용하는 파이프라인에 필요하지만, 동시에 아키텍처를 현대화할 기회이기도 합니다.
Fabric 작업 영역의 Azure Data Factory 항목
기존 ADF를 Fabric 작업 공간에 추가하면 점진적으로 업그레이드하는 동안 즉각적인 가시성과 거버넌스를 얻을 수 있습니다. 이 접근법은 팀이 파이프라인을 확인하고 Fabric 작업 공간 내에서 정리하며 도메인별 컷오버를 계획할 수 있어 발견, 소유권 할당, 나란히 테스트에 이상적입니다. Azure Data Factory 항목을 사용하여 존재하는 항목을 카탈로그화하고, 가장 높은 값/가장 낮은 위험 파이프라인의 우선 순위를 지정하고, 변환 스크립트 및 파트너 도구가 일관되게 따를 수 있는 규칙(명명, 폴더, 연결 재사용)을 설정합니다.
Azure Data Factory 항목 유형을 통해 Fabric에 마운트하세요: Azure Data Factory를 Fabric으로 가져오세요.
내장 경험을 이용해 Azure Data Factory 파이프라인을 업그레이드하세요
Fabric은 내장 평가 우선 업그레이드 경험을 제공하여 스크립트나 맞춤형 도구 없이 Azure Data Factory 및 Fabric 사용자 경험을 통해 Azure Data Factory 파이프라인을 직접 평가하고 업그레이드할 수 있습니다. 이 경험은 귀하에게 도움을 줍니다.
- Azure Data Factory 직접 파이프라인 및 활동 준비 상태를 평가합니다.
- 업그레이드 전에 호환성 격차를 이해하세요.
- 병렬 검토를 위해 Azure Data Factory Fabric 작업 영역에 탑재합니다.
- 마운트된 데이터 팩토리에서 지원 파이프라인을 점진적으로 Fabric으로 업그레이드하세요.
- 선택한 파이프라인의 지원되는 매핑 데이터 흐름을 Dataflow Gen2의 MDF 변환으로 업그레이드합니다.
- 업데이트가 필요하거나 지원되지 않는 기능을 사용하거나 곧 도입될 항목에 대해 수정 또는 재설계를 계획하세요.
각 파이프라인과 활동은 명확하게 분류되어 있습니다(준비 완료, 검토 필요, 곧 출시, 호환되지 않음) 팀이 의도적으로 업그레이드를 계획하고 생산 작업 부하를 전환하기 전에 결과를 검증하는 데 도움을 줍니다. 이 접근법은 지원되지 않는 기능과 다음 단계에 대한 가시성을 유지하면서 가이드되고 위험이 적으며 점진적인 업그레이드 경로를 원하는 고객에게 적합합니다. 단계별 지침은 Azure Data Factory 파이프라인을 Fabric 업그레이드를 참조하세요.
내장 업그레이드 환경은 매핑 데이터 흐름을 포함하는 지원되는 파이프라인도 지원합니다. 지원되는 매핑 데이터 흐름은 Dataflow Gen2에서 MDF 변환으로 업그레이드되어 변환 논리와 Spark 기반 실행 모델을 유지합니다. 이 기능은 현재 미리 보기로 제공됩니다. 요구사항, 제한 사항 및 업그레이드 지침은 Upgrade Azure Data Factory Mapping Data Flow pipelines to Fabric을 참조하세요.
수동 업그레이드
수동 업그레이드는 패리티가 낮은 복잡한 파이프라인에서는 필요하지만, 동시에 아키텍처를 현대화하고 Fabric의 통합 기능을 도입할 수 있는 기회이기도 합니다. 이 경로에는 더 많은 선행 계획 및 개발이 필요하지만 유지 관리 효율성, 성능 및 비용에서 장기적인 이점을 얻을 수 있습니다.
효과적으로 업그레이드하려면 다음 단계를 따라주세요:
- 평가 및 인벤토리: 파이프라인, 데이터 세트, 연결된 서비스 및 통합 런타임을 포함한 모든 ADF 자산을 카탈로그화합니다. 종속성 및 사용 패턴을 식별합니다.
- 중복 및 사용하지 않는 항목 식별: ADF 내 사용하지 않거나 중복된 항목을 정리하여 업그레이드와 데이터 통합 환경을 간소화합니다.
- 격차 식별: 파이프라인 평가 도구를 사용하여 커넥터 패리티와 활동 패리티를 검토하여 ADF 파이프라인과 Fabric 파이프라인 간의 격차를 파악하고 대안을 계획하세요.
- 새로운 기능 검토: 데이터 이동 결정 가이드 및 데이터 통합 의사 결정 가이드 를 사용하여 요구 사항에 가장 적합한 패브릭 도구를 결정합니다.
- 계획: 각 아이템에 대한 고려사항과 Fabric의 향상된 기능을 최대한 활용하기 위한 가이드라인을 검토하기 위해 업그레이드 모범 사례를 검토하세요.
- ADF에서 전역 매개변수를 사용한다면 Fabric 변수 라이브러리로 업그레이드할 계획입니다. 자세한 단계는 ADF 전역 매개 변수를 패브릭 변수 라이브러리로 변환 을 참조하세요.
- ADF 전환: 업그레이드의 첫 단계로 Microsoft Fabric에 Azure Data Factory 항목을 추가하는 것을 고려해 단일 플랫폼에서 점진적으로 전환할 수 있도록 하세요.
- 우선순위 설정: 비즈니스 영향, 복잡성, 업그레이드 용이성에 따라 파이프라인을 순위 매기세요.
- 가능한 곳에서 자동화하기: 내장된 업그레이드 경험을 활용해 파이프라인을 점진적으로 평가, 업그레이드, 검증한 후 생산 작업을 옮기세요. 자세한 내용은 업그레이드 도구를 참조하세요.
- 도구 고려: 다음 도구를 사용하여 레크리에이션을 더 쉽게 수행할 수 있습니다.
-
수동 업그레이드: 다른 업그레이드 방법이 지원하지 않는 시나리오는 Fabric에서 다시 구성하세요:
- 연결 다시 만들기: ADF에서 연결된 서비스를 대체하도록 패브릭에서 연결 설정
- 활동 다시 만들기: 파이프라인에서 활동을 설정하고, 지원되지 않는 활동을 Fabric 대안으로 교체하거나 호출 파이프라인 활동을 사용하십시오.
- 트리거 예약 및 설정: ADF 일정과 일치하도록 Fabric에서 일정 및 이벤트 트리거 다시 작성
- 철저히 테스트: 업그레이드된 파이프라인을 예상 출력, 성능 벤치마크, 준수 요건과 비교해 검증하세요.
업그레이드 시나리오 샘플
ADF에서 패브릭으로 이동하면 사용 사례에 따라 다른 전략이 포함될 수 있습니다. 이 섹션에서는 효과적인 계획에 도움이 될 일반적인 업그레이드 경로와 고려사항을 설명합니다.
- 시나리오 1: ADF 파이프라인 및 데이터 흐름
- 시나리오 2: CDC, SSIS 및 Airflow를 사용하는 ADF
- 시나리오 3: 기본 제공 환경을 사용한 파이프라인 업그레이드
- 시나리오 4: 패브릭 작업 영역의 ADF 항목
시나리오 1: ADF 파이프라인 및 데이터 흐름
파이프라인과 데이터 흐름을 Fabric으로 업그레이드하여 ETL 환경을 현대화하세요. 다음 요소에 대한 계획:
- 연결된 서비스를 Fabric 연결로 재생성하거나 기본 제공 업그레이드 환경에서 연결된 서비스를 기존 Fabric 연결에 매핑할 수 있습니다.
- 전역 매개 변수를 변수 라이브러리로 다시 만듭니다.
- 파이프라인 작업에서 인라인으로 데이터 세트 속성을 정의합니다.
- SHIR(자체 호스팅 통합 런타임)를 OPDG(온프레미스 데이터 게이트웨이)로 교체하고, VNet IR을 가상 네트워크 데이터 게이트웨이로 대체하세요.
- 매핑 데이터 흐름이 포함된 자격이 있는 파이프라인의 경우, 내장 업그레이드 경험을 사용하여 지원되는 매핑 데이터 흐름을 Dataflow Gen2의 MDF 변환으로 업그레이드하세요.
- 업그레이드 전에 MDF 변환 제한 사항, 지원 커넥터, 변환, 인증 방법, 네트워킹 요구사항을 검토하세요.
- 현재 미리보기에서 지원되지 않는 기능을 사용하는 데이터 흐름 매핑의 경우, 지원되지 않는 구성 요소를 수정하거나 Dataflow Gen2의 파워 쿼리, Fabric Warehouse SQL, Spark 노트북 또는 다른 적절한 Fabric 기능을 사용하여 변환을 재설계하세요.
- Fabric 대안 또는 호출 파이프라인 작업을 사용하여 지원되지 않는 ADF 작업을 다시 빌드합니다. 지원되지 않는 활동은 다음과 같습니다.
- 사용 중단된 Azure 서비스인 U-SQL(Data Lake Analytics)입니다.
- 메타데이터 가져오기, 파이프라인 루프 및 If 활동을 사용하여 다시 빌드할 수 있는 검증 활동
- 패브릭에 데이터 흐름으로 완전히 통합되어 M 코드를 다시 사용할 수 있는 파워 쿼리
- Notebook, Jar 및 Python 활동을 Fabric의 Databricks 활동으로 대체할 수 있습니다.
- Hive, Pig, MapReduce, Spark 및 Streaming 활동으로, Fabric의 HDInsight 활동으로 대체할 수 있습니다.
요구사항 및 단계별 지침은 Azure Data Factory Mapping Data Flow 파이프라인을 Fabric으로 업그레이드하는 항목을 참조하세요.
예를 들어 파일 경로 및 압축 설정이 있는 ADF 데이터 세트 구성 페이지는 다음과 같습니다.
다음은 Fabric 플랫폼의 Data Factory에서 제공되는 Copy 작업 예시로, 작업 내에서 압축과 파일 경로가 인라인으로 설정됩니다.
시나리오 2: CDC, SSIS 및 Airflow를 사용하는 ADF
CDC를 복사 작업 항목으로 다시 만듭니다. Airflow의 경우 DAG를 Fabric Apache Airflow 제품에 복사합니다. ADF 파이프라인을 사용하여 SSIS 패키지를 실행하고 패브릭에서 호출합니다.
시나리오 3: 내장 경험을 이용한 파이프라인 업그레이드
이 안내된 평가 우선 경험은 준비 상태를 평가하고, 호환성 격차를 파악하며, 지원되는 파이프라인을 스크립트 없이 점진적으로 Fabric 작업 공간으로 업그레이드하는 데 도움을 줍니다.
기본 제공 업그레이드 기능은 매핑 데이터 흐름을 포함하는 적격 파이프라인도 지원합니다. 지원되는 매핑 데이터 흐름은 Dataflow Gen2에서 MDF 변환으로 업그레이드되어 변환 논리와 Spark 기반 실행 모델을 유지합니다. 이 기능은 현재 미리 보기로 제공됩니다.
자세한 내용은 다음을 참조하세요:
시나리오 4: Fabric 작업 영역의 ADF 항목
Fabric 작업 영역에서 전체 ADF 팩터리를 네이티브 항목으로 추가할 수 있습니다. 이렇게 하면 동일한 인터페이스 내에서 패브릭 아티팩트와 함께 ADF 팩터리를 관리할 수 있습니다. ADF UI는 완전히 액세스할 수 있으므로 Fabric 작업 영역에서 직접 ADF 팩터리 항목을 모니터링, 관리 및 편집할 수 있습니다. 그러나 파이프라인, 활동 및 통합 런타임의 실행은 여전히 Azure 리소스 내에서 발생합니다.
이 기능은 Fabric으로 전환하는 조직에 유용하며, ADF와 Fabric 자원을 통합하여 업그레이드 관리와 계획을 단순화합니다.
자세한 내용은 Azure Data Factory를 Fabric에 통합하기를 참고하십시오.