Microsoft Fabric의 Data Factory란?

Data Factory는 다양한 데이터 원본(예: 데이터베이스, 데이터 Warehouse, Lakehouse, 실시간 데이터 등)에서 데이터를 수집, 준비 및 변환하는 최신 데이터 통합 환경을 제공합니다. 시민이든 전문 개발자이든 지능형 변환을 사용하여 데이터를 변환하고 풍부한 활동 집합을 활용할 수 있습니다. 파이프라인을 만들어 하나 이상의 활동을 실행하고, 연결된 서비스를 통해 데이터 원본 또는 서비스에 액세스할 수 있으며, 파이프라인을 만든 후 트리거를 추가하여 특정 시간에 또는 변화하는 시나리오에 대응하여 프로세스를 자동으로 실행할 수 있습니다. Microsoft Fabric의 Data Factory를 통해 데이터 흐름과 데이터 파이프라인 모두에 빠른 복사(데이터 이동) 기능을 제공합니다. 빠른 복사를 사용하면 즐겨 찾는 데이터 저장소 간에 빠르게 데이터를 이동할 수 있습니다. 가장 중요한 것은 빠른 복사를 사용하면 분석을 위해 Microsoft Fabric의 Lakehouse 및 Data Warehouse로 데이터를 가져올 수 있습니다.

Data Factory에서 구현하는 두 가지 주요 고급 기능으로는 데이터 흐름 및 파이프라인이 있습니다.

• 데이터 흐름을 사용하면 데이터 흐름 디자이너에서 300개 이상의 변환을 활용할 수 있으므로 스마트 AI 기반 데이터 변환을 비롯한 다른 도구보다 더 쉽고 유연하게 데이터를 변환할 수 있습니다.
• 데이터 파이프라인을 사용하면 풍부한 기본 데이터 오케스트레이션 기능을 활용하여 엔터프라이즈 요구 사항을 충족하는 유연한 데이터 워크플로를 작성할 수 있습니다.

데이터 흐름

데이터 흐름은 수백 개의 데이터 원본에서 데이터를 수집하여 300개 이상의 데이터 변환을 사용하여 데이터를 변환하기 위한 하위 코드 인터페이스를 제공합니다. 그런 다음 결과 데이터를 Azure SQL 데이터베이스 등과 같은 여러 대상으로 로드할 수 있습니다. 수동 또는 예약된 새로 고침을 사용하거나 데이터 파이프라인 오케스트레이션의 일부로 데이터 흐름을 반복적으로 실행할 수 있습니다.

데이터 흐름은 Excel, Power BI, Power Platform, Dynamics 365 Insights 애플리케이션 등과 같은 여러 Microsoft 제품 및 서비스에서 현재 사용할 수 있는 친숙한 파워 쿼리 환경을 사용하여 빌드됩니다. 파워 쿼리를 사용하면 시민부터 전문 데이터 통합자에 이르기까지 모든 사용자가 데이터 자산 전체에서 데이터 수집 및 데이터 변환을 수행할 수 있습니다. 사용하기 쉽고 시각적인 하위 코드 UI에서 조인, 집계, 데이터 정리, 사용자 지정 변환 등을 수행합니다.

데이터 파이프라인

데이터 파이프라인을 사용하면 클라우드 규모에서 강력한 워크플로 기능을 사용할 수 있습니다. 데이터 파이프라인을 사용하면 데이터 흐름을 새로 고치고, PB 크기 데이터를 이동하고, 정교한 제어 흐름 파이프라인을 정의할 수 있는 복잡한 워크플로를 빌드할 수 있습니다.

데이터 파이프라인을 사용하여 대규모로 다양한 작업을 수행할 수 있는 복잡한 ETL 및 데이터 팩터리 워크플로를 빌드합니다. 제어 흐름 기능은 루프 및 조건부를 제공하는 워크플로 논리를 빌드할 수 있는 데이터 파이프라인에 기본 제공됩니다.

엔드투엔드 ETL 데이터 파이프라인에 대한 단일 파이프라인에서 낮은 코드 데이터 흐름 새로 고침과 함께 구성 기반 복사 작업을 추가합니다. Spark Notebook, SQL 스크립트, 저장된 프록시 등에 대한 코드 우선 작업을 추가할 수도 있습니다.

관련 콘텐츠

Microsoft Fabric을 시작하려면 빠른 시작: 첫 번째 Dataflow Gen2를 만들어 데이터를 가져와서 변환로 이동합니다.