이 문서에서는 Microsoft Fabric의 Data Factory에 대한 질문과 대답을 제공합니다.
ADF(Azure Data Factory) 및 Synapse Pipelines의 미래는 어떻게 될까요?
ADF(Azure Data Factory) 및 Azure Synapse 파이프라인은 별도의 PaaS(Platform as a Service) 로드맵을 기본. 이 두 솔루션은 SaaS(Software as a Service) 제품 역할을 하는 Fabric Data Factory와 함께 계속 공존합니다. ADF 및 Synapse 파이프라인은 완전히 지원되지 기본 감가 상각 계획은 없습니다. 예정된 프로젝트의 경우 Fabric Data Factory를 사용하여 프로젝트를 시작하는 것이 좋습니다. 또한 ADF 및 Synapse 파이프라인을 Fabric Data Factory로 쉽게 전환하여 새로운 패브릭 기능을 활용할 수 있도록 하는 전략을 마련했습니다.
Fabric용 Data Factory의 기능 차이를 감안할 때 ADF/Synapse 파이프라인을 통해 선택하는 이유는 무엇인가요?
기능 격차를 해소하고 ADF/Azure Synapse 파이프라인에 있는 강력한 데이터 파이프라인 오케스트레이션 및 워크플로 기능을 Fabric Data Factory에 통합하려고 노력하면서 ADF/Synapse 파이프라인에 있는 특정 기능이 요구 사항에 필수적일 수 있음을 인정합니다. 이러한 기능이 필요한 경우 ADF/Synapse 파이프라인을 계속 활용하는 것이 좋습니다. 먼저 Fabric에서 새로운 데이터 통합 가능성을 살펴보는 것이 좋습니다. 성공에 중요한 기능에 대한 피드백은 매우 중요합니다. 이를 용이하게 하기 위해 Azure에서 패브릭 작업 영역으로 기존 데이터 팩터리를 마이그레이션할 수 있도록 새로운 기능을 도입하기 위해 적극적으로 노력하고 있습니다.
Fabric Data Factory의 새로운 기능을 ADF/Synapse에서도 사용할 수 있나요?
패브릭 파이프라인의 새로운 기능을 ADF/Synapse 파이프라인으로 백업하지 않습니다. Fabric Data Factory 및 ADF/Synapse에 대한 두 개의 별도 로드맵을 기본. 들어오는 피드백에 대한 응답으로 백포트 요청을 평가합니다.
패브릭 파이프라인은 Azure Synapse Pipeline과 동일합니까?
패브릭 파이프라인의 기본 함수는 Azure Synapse 파이프라인과 유사하지만 패브릭 파이프라인을 사용하면 사용자가 Fabric 플랫폼의 모든 데이터 분석 기능을 적용할 수 있습니다. 패브릭 파이프라인과 Azure Synapse 파이프라인 간의 주목할 만한 차이점과 기능 매핑은 여기에서 찾을 수 있습니다. 패브릭과 Azure의 Data Factory 간 차이점입니다.
Fabric의 데이터 팩터리와 데이터 엔지니어링 탭의 차이점은 무엇인가요?
Data Factory는 클라우드 규모 데이터 이동 및 데이터 변환 서비스를 사용하여 복잡한 데이터 통합 및 ETL 시나리오를 해결하는 데 도움이 되며, 데이터 엔지니어링은 레이크 하우스를 만들고 Apache Spark를 사용하여 데이터를 변환하고 준비하는 데 도움이 됩니다. 각 패브릭 용어/환경 간의 차이점은 Microsoft Fabric 용어에서 사용할 수 있습니다.
패브릭에서 사용할 수 있는 월별 업데이트는 어디에서 찾을 수 있나요?
패브릭 월간 업데이트는 Microsoft Fabric 블로그에서 확인할 수 있습니다.
Azure Data Factory(또는) Azure Synapse 작업 영역에서 Fabric Data Factory로 기존 파이프라인을 마이그레이션할 어떻게 할까요? 있나요?
현재 사용 가능한 유일한 방법은 Fabric Data Factory에서 파이프라인을 다시 만드는 것입니다. 사용자가 Fabric 플랫폼 내에서 Fabric 및 ADF 파이프라인을 효과적으로 감독하고 관리할 수 있도록 하는 새로운 기능을 부지런히 개발하고 있습니다. 이 혁신적인 새로운 기능은 제품 연속성을 원활하게 보존할 뿐만 아니라 사용자가 Fabric의 데이터 통합 기능에서 제공하는 향상된 기능에 몰입할 수 있는 기회를 제공합니다.
파이프라인에 사용되는 패브릭의 용량을 추적하고 모니터링할 어떻게 할까요? 있나요?
Microsoft Fabric 용량 관리자는 메트릭 앱이라고도 하는 Microsoft Fabric 용량 메트릭 앱을 사용하여 용량 리소스에 대한 가시성을 얻을 수 있습니다. 이 앱을 사용하면 관리자가 패브릭 용량 사용 작업 영역에서 데이터 파이프라인, 데이터 흐름 및 기타 항목에서 얼마나 많은 CPU 사용률, 처리 시간 및 메모리를 활용하는지 확인할 수 있습니다. 오버로드 원인, 최대 수요 시간, 리소스 소비 등을 파악하고 가장 까다롭거나 가장 인기 있는 항목을 쉽게 식별할 수 있습니다.
Fabric Dataflow Gen2는 Azure Data Factory에 포함된 파워 쿼리와 유사합니까?
ADF 내의 파워 쿼리 작업은 Dataflow Gen2와 유사성을 공유하지만 특정 데이터 대상에 쓰는 등의 작업을 사용할 수 있는 추가 기능이 있습니다. 이 비교는 Dataflow Gen1(Power BI 데이터 흐름 또는 Power Apps 데이터 흐름)과 더 공정하게 일치합니다. 자세한 내용은 Dataflow Gen1과 Dataflow Gen2의 차이점을 살펴보세요.
패브릭 Data Factory에서 온-프레미스 데이터 원본에 연결하려면 어떻게 해야 하나요?
현재 초점은 온-프레미스 데이터 게이트웨이 내에서 패브릭 파이프라인 지원을 적극적으로 개발하는 것입니다. 이 향후 기능을 통해 직접 온-프레미스 데이터 액세스를 위해 패브릭 파이프라인을 원활하게 활용할 수 있습니다. 이 기능을 사용할 수 있게 될 때까지는 패브릭 데이터 흐름을 활용하여 데이터를 클라우드 스토리지로 전송한 다음 Fabric 파이프라인을 사용하여 원하는 대상으로 데이터를 쉽게 이동할 수 있습니다. 이렇게 하면 온-프레미스 데이터 게이트웨이 통합을 사용할 수 있게 될 때까지 원활한 전환이 가능합니다.
Fabric Data Factory에서 기존 PE(프라이빗 엔드포인트) 사용 리소스에 연결할 수 있나요?
현재 VNet 게이트웨이는 가상 네트워크에 원활하게 통합할 수 있는 주입 방법을 제공하여 프라이빗 엔드포인트를 사용하여 데이터 저장소에 대한 보안 연결을 설정하는 강력한 방법을 제공합니다. VNet 게이트웨이는 현재 패브릭 데이터 흐름만 수용한다는 점에 유의해야 합니다. 그러나 향후 이니셔티브는 패브릭 파이프라인을 포괄하는 기능을 확장하는 것을 포함합니다.
패브릭 데이터 파이프라인에서 데이터를 얼마나 빨리 수집할 수 있나요?
Fabric Data Factory를 사용하면 환경에 대한 데이터 이동 처리량을 최대화하는 파이프라인을 개발할 수 있습니다. 이러한 파이프라인은 다음 리소스를 완전히 활용합니다.
- 원본 데이터 저장소와 대상 데이터 저장소 간의 네트워크 대역폭
- 원본 또는 대상 데이터 저장소 IOPS(초당 입력/출력 작업 수) 및 대역폭 전체 사용률로 인해 다음 리소스에서 사용할 수 있는 최소 처리량을 측정하여 전체 처리량을 예측할 수 있습니다.
- 원본 데이터 스토리지
- 대상 데이터 저장소
- 원본 데이터 저장소와 대상 데이터 저장소 간의 네트워크 대역폭은 지속적으로 혁신을 통해 가능한 최상의 처리량을 향상시킵니다. 현재 서비스는 1TB TPC-DI 데이터 세트(parquet 파일)를 5분 이내에 Fabric Lakehouse 테이블과 데이터 웨어하우스로 이동할 수 있습니다. 1분 미만의 1B 행 이동; 이 성능은 위의 테스트 데이터 세트를 실행하여 참조일 뿐입니다. 실제 처리량은 여전히 이전에 나열된 요인에 따라 달라집니다. 또한 여러 복사 작업을 병렬로 실행하여 항상 처리량을 곱할 수 있습니다. 예를 들어 ForEach 루프를 사용하세요.
Fabric Data Factory 내에서 역할을 할당하는 데 권장되는 방법은 무엇인가요?
작업 영역 간에 서로 다른 워크로드를 분리하고 멤버 및 뷰어와 같은 역할을 사용하여 보고서 또는 AI 학습에 사용되는 작업 영역에 대한 데이터를 준비하는 데이터 엔지니어링을 위한 작업 영역을 가질 수 있습니다. 뷰어 역할을 사용하면 데이터 엔지니어링 작업 영역의 데이터를 사용할 수 있습니다.