이 자습서에서는 OData를 Northwind 원본에서 레이크하우스 대상으로 이동하고 파이프라인이 완료되면 이메일 알림을 보내는 데이터 파이프라인을 빌드합니다.
필수 조건
시작하려면 다음 필수 조건을 완료해야 합니다.
- 기본 내 작업 영역이 아닌 Microsoft Fabric 사용 작업 영역이 있는지 확인합니다.
레이크하우스 만들기
시작하려면 먼저 레이크하우스를 만들어야 합니다. 레이크하우스는 분석에 최적화된 데이터 레이크입니다. 이 자습서에서는 데이터 흐름의 대상으로 사용되는 레이크하우스를 만듭니다.
Fabric을 사용할 수 있는 작업 영역으로 이동합니다.
만들기 메뉴에서 레이크하우스를 선택합니다.
레이크하우스의 이름을 입력합니다.
만들기를 실행합니다.
이제 레이크하우스를 만들었으며 이제 데이터 흐름을 설정할 수 있습니다.
데이터 흐름 만들기
데이터 흐름은 파이프라인에서 사용할 수 있는 재사용 가능한 데이터 변환입니다. 이 자습서에서는 OData 원본에서 데이터를 가져오고 레이크하우스 대상에 데이터를 쓰는 데이터 흐름을 만듭니다.
Fabric을 사용할 수 있는 작업 영역으로 이동합니다.
만들기 메뉴에서 Dataflow Gen2를 선택합니다.
OData 원본에서 데이터를 수집합니다.
데이터 가져오기를 선택하고 더 보기를 선택합니다.
데이터 원본 선택에서 OData를 검색한 다음 OData 커넥터를 선택합니다.
OData 원본의 URL을 입력합니다. 이 자습서에서는 OData 샘플 서비스를 사용합니다.
다음을 선택합니다.
수집할 엔터티를 선택합니다. 이 자습서에서는 Orders 엔터티를 사용합니다.
만들기를 실행합니다.
OData 원본에서 데이터를 수집했으므로 레이크하우스 대상을 설정할 수 있습니다.
레이크하우스 대상으로 데이터를 수집하려면 다음을 수행합니다.
데이터 대상 추가를 선택합니다.
레이크하우스를 선택합니다.
레이크하우스에 연결하는 데 사용할 연결을 구성합니다. 기본 설정으로 두어도 괜찮습니다.
다음을 선택합니다.
레이크하우스를 만든 작업 영역으로 이동합니다.
이전 단계에서 생성한 레이크하우스를 선택합니다.
테이블 이름을 확인합니다.
다음을 선택합니다.
설정을 확인한 다음, 설정 저장을 선택합니다.
데이터 흐름을 게시합니다.
Important
작업 영역에서 첫 번째 Dataflow Gen2를 만들면 레이크하우스 및 Warehouse 항목이 관련 SQL 분석 엔드포인트 및 의미 체계 모델과 함께 프로비전됩니다. 이러한 항목은 작업 영역의 모든 데이터 흐름에서 공유되며 Dataflow Gen2가 작동하기 위해 필요하고, 삭제해서는 안 되며 사용자가 직접 사용할 수 없습니다. 항목은 Dataflow Gen2의 구현 세부 정보입니다. 항목은 작업 영역에 표시되지 않지만 Notebook, SQL 엔드포인트, 레이크하우스 및 Warehouse 환경과 같은 다른 환경에서 액세스할 수 있습니다. 이름에 있는 접두사로 항목을 인식할 수 있습니다. 항목의 접두사는 'DataflowsStaging'입니다.
레이크하우스 대상으로 데이터를 수집을 완료했으므로 데이터 파이프라인을 설정할 수 있습니다.
데이터 파이프라인 만들기
데이터 파이프라인은 데이터 처리를 자동화하는 데 사용할 수 있는 워크플로입니다. 이 자습서에서는 이전 절차에서 만든 Dataflow Gen2를 실행하는 데이터 파이프라인을 만듭니다.
작업 영역 개요 페이지로 돌아가서 만들기 메뉴에서 데이터 파이프라인을 선택합니다.
데이터 파이프라인의 이름을 입력합니다.
데이터 흐름 작업을 선택합니다.
설정 아래의 데이터 흐름 드롭다운 목록에서 이전 절차에서 만든 데이터 흐름을 선택합니다.
Office 365 Outlook 활동 추가.
전자 메일 알림을 보내도록 Office 365 Outlook 활동을 구성합니다.
Office 365 계정을 사용하여 인증합니다.
알림을 받을 이메일 주소를 입력합니다.
이메일의 제목을 입력합니다.
이메일의 본문을 입력합니다.
데이터 파이프라인 실행 및 예약
이 구역에서는 데이터 파이프라인을 실행하고 예약합니다. 에약을 사용하면 일정에 따라 데이터 파이프라인을 실행할 수 있습니다.
작업 영역으로 이동합니다.
이전 절차에서 만든 데이터 파이프라인의 드롭다운 메뉴를 열고 예약을 선택합니다.
예약된 실행에서 켜짐을 선택합니다.
데이터 파이프라인을 실행하는 데 사용할 일정을 제공합니다.
- 예를 들어 매일 또는 매 분마다 반복할 수 있습니다.
- 매일을 선택하면 시간을 선택할 수도 있습니다.
- 특정 날짜에 시작합니다.
- 특정 날짜에 종료합니다.
- 표준 시간대를 선택합니다.
적용을 선택하여 변경 내용을 적용합니다.
이제 일정에 따라 실행되고, 레이크하우스에서 데이터를 새로 고치고, 이메일 알림을 보내는 데이터 파이프라인을 만들었습니다. 모니터 허브로 이동하여 데이터 파이프라인의 상태를 확인할 수 있습니다. 데이터 파이프라인으로 이동하고 드롭다운 메뉴에서 실행 기록 탭을 선택하여 데이터 파이프라인의 상태를 확인할 수도 있습니다.
관련 콘텐츠
이 샘플에서는 Microsoft Fabric의 Data Factory를 사용하여 파이프라인에서 데이터 흐름을 사용하는 방법을 보여 줍니다. 다음 방법에 대해 알아보았습니다.
- 데이터 흐름 만들기.
- 데이터 흐름을 호출하는 파이프라인을 만듭니다.
- 데이터 파이프라인 실행 및 예약.
그다음을 진행하여 파이프라인 실행 모니터링에 대해 자세히 알아보세요.