Data Factory 엔드 투 엔드 시나리오: 소개 및 아키텍처

이 자습서는 1시간 이내에 전체 데이터 통합 시나리오에 대한 단계별 지침을 제공하여 Microsoft Fabric의 Data Factory 평가 프로세스를 가속화하는 데 도움이 됩니다. 이 자습서를 마치면 Data Factory의 값과 주요 기능을 이해하고 일반적인 엔드 투 엔드 데이터 통합 시나리오를 완료하는 방법을 알 수 있습니다.

개요: Microsoft Fabric에서 Data Factory를 사용하는 이유

이 섹션에서는 일반적으로 Fabric의 역할과 데이터 팩터리 내에서 수행하는 역할을 이해하는 데 도움이 됩니다.

Microsoft Fabric의 가치 이해

Microsoft Fabric은 모든 엔터프라이즈의 모든 분석 요구 사항에 대한 원스톱 상점을 제공합니다. 데이터 이동, 데이터 레이크, 데이터 엔지니어링, 데이터 통합 및 데이터 과학, 실시간 분석 및 비즈니스 인텔리전스를 포함한 전체 서비스 스펙트럼을 다룹니다. Fabric을 사용하면 여러 공급업체의 다양한 서비스를 함께 연결할 필요가 없습니다. 대신 사용자는 쉽게 이해하고, 온보딩하고, 만들고, 작동할 수 있는 엔드 투 엔드, 고도로 통합된 단일 및 포괄적인 제품을 이용할 수 있습니다.

Microsoft Fabric의 Data Factory 값 이해

Fabric의 Data Factory는 파워 쿼리의 사용 편의성과 Azure Data Factory의 규모 및 기능을 결합합니다. 그것은 통합 된 경험에 함께 두 제품의 최고를 제공합니다. 목표는 Factory의 데이터 통합 시민 및 전문 데이터 개발자 모두에게 잘 작동하는지 확인하는 것입니다. 저코드, AI 지원 데이터 준비 및 변환 환경, 페타바이트 규모 변환, 하이브리드 다중 클라우드 연결이 있는 수백 개의 커넥터를 제공합니다. Purview는 거버넌스를 제공하며, 이 서비스는 엔터프라이즈 규모 데이터/Op 약정, CI/CD, 애플리케이션 수명 주기 관리 및 모니터링을 제공합니다.

소개 - Data Factory의 세 가지 주요 기능 이해

• 데이터 수집: 파이프라인의 복사 작업 통해 추가 처리를 위해 수백 개의 데이터 원본에서 Data Lakehouse로 페타바이트 규모의 데이터를 이동할 수 있습니다.
• 데이터 변환 및 준비: Dataflow Gen2는 300개 이상의 데이터 변환을 사용하여 데이터를 변환하기 위한 로우 코드 인터페이스를 제공하며, 변환된 결과를 Azure SQL 데이터베이스, Lakehouse 등과 같은 여러 대상으로 로드할 수 있습니다.
• 엔드 투 엔드 통합 흐름 자동화: 파이프라인은 복사, 데이터 흐름 및 Notebook 활동 등을 포함하는 활동의 오케스트레이션을 제공합니다. 이렇게 하면 모든 활동을 한 곳에서 관리할 수 있습니다. 파이프라인의 활동을 함께 연결하여 순차적으로 작동하거나 병렬로 독립적으로 작동할 수 있습니다.

이 엔드 투 엔드 데이터 통합 사용 사례에서는 다음을 알아봅니다.

• 파이프라인에서 복사 도우미 사용하여 데이터를 수집하는 방법
• 코드 없음 환경이 있는 데이터 흐름을 사용하거나 스크립트 또는 Notebook 작업으로 데이터를 처리하는 고유한 코드를 작성하여 데이터를 변환하는 방법
• 트리거 및 유연한 제어 흐름 작업이 있는 파이프라인을 사용하여 전체 엔드 투 엔드 데이터 통합 흐름을 자동화하는 방법입니다.

아키텍처

다음 50분 후에는 엔드 투 엔드 데이터 통합 시나리오를 완료해야 합니다. 여기에는 원본 저장소에서 Lakehouse의 Bronze 테이블로 원시 데이터를 수집하고, 모든 데이터를 처리하고, 데이터 레이크하우스의 골드 테이블로 이동하고, 모든 작업이 완료되면 알려주는 이메일을 보내고, 마지막으로 전체 흐름을 예약된 기준으로 실행하도록 설정하는 작업이 포함됩니다.

시나리오는 다음 세 가지 모듈로 나뉩니다.

• 모듈 1: Data Factory 를 사용하여 Blob Storage에서 데이터 레이크하우스의 Bronze 테이블로 원시 데이터를 수집하는 파이프라인을 만듭니다.
• 모듈 2: Data Factory 의 데이터 흐름을 사용하여 데이터를 변환하여 Bronze 테이블에서 원시 데이터를 처리하고 Data Lakehouse의 Gold 테이블로 이동합니다.
• 모듈 3: 모든 작업이 완료되면 알리는 전자 메일을 보내도록 첫 번째 데이터 통합 과정을 완료하고 마지막으로 전체 흐름을 예약된 기준으로 실행하도록 설정합니다.

샘플 데이터 세트 NYC-Taxi 를 자습서의 데이터 원본으로 사용합니다. 완료되면 Microsoft Fabric의 Data Factory를 사용하여 특정 기간 동안 택시 요금의 일일 할인에 대한 인사이트를 얻을 수 있습니다.

관련 콘텐츠

Microsoft Fabric에서 Data Factory를 사용하여 첫 번째 데이터 통합을 위한 엔드 투 엔드 자습서에 대한 이 소개에서는 다음을 배웠습니다.

• Microsoft Fabric의 값 및 역할
• 패브릭에서 Data Factory의 값 및 역할
• Data Factory의 주요 기능
• 이 자습서에서 학습할 내용

이제 다음 섹션으로 이동하여 데이터 파이프라인을 만듭니다.

모듈 1: Data Factory를 사용하여 파이프라인 만들기