모듈 1: Data Factory를 사용하여 파이프라인 만들기

아티클
10/15/2024

이 모듈은 파이프라인의 복사 작업 사용하여 원본 저장소에서 데이터 레이크하우스의 Bronze 테이블로 원시 데이터를 수집하는 데 10분이 걸립니다.

모듈 1의 개략적인 단계는 다음과 같습니다.

데이터 파이프라인 만들기.
파이프라인의 복사 작업을 사용하여 데이터 레이크하우스에 샘플 데이터를 로드합니다.

데이터 파이프라인 만들기

활성 구독이 있는 Microsoft Fabric 테넌넌트 계정이 필요합니다. 무료 계정을 만듭니다.
Microsoft Fabric 사용 작업 영역: 작업 영역 만들기가 있는지 확인합니다.
Power BI에 로그인합니다.
화면 왼쪽 아래에서 기본 Power BI 아이콘을 선택하고 Data Factory 환경으로 전환합니다.
데이터 파이프라인을 선택하고 파이프라인 이름을 제공합니다. 다음으로 만들기를 선택합니다.

파이프라인의 복사 작업 사용하여 데이터 레이크하우스에 샘플 데이터 로드

1단계: 복사 도우미를 사용하여 복사 작업을 구성합니다.

데이터 복사를 선택하여 데이터 복사 도구를 엽니다.

새 파이프라인 시작 페이지에서 데이터 복사 작업의 선택을 보여 주는 스크린샷.

2단계: 복사 도우미에서 설정을 구성합니다.

데이터 복사 대화 상자가 첫 번째 단계인 데이터 원본 선택과 함께 표시됩니다. 필요한 경우 데이터 원본 구역으로 스크롤하고 Azure Blob Storage 데이터 원본 형식을 선택합니다. 그런 후 다음을 선택합니다.
다음 단계에서 새 연결 만들기를 선택한 다음, https://nyctaxisample.blob.core.windows.net/sample에서 이 자습서에 제공된 샘플 데이터를 호스팅하는 Blob Storage의 URL을 제공합니다. 인증 종류는 익명입니다. URL을 제공한 후 다음을 선택합니다.
데이터 원본에 연결 단계가 나타나고 처음에는 Blob Storage의 샘플 폴더에만 권한이 부여되었으므로 파일을 나열할 수 없음 오류가 표시됩니다. 폴더 이름, 샘플을 제공하고 다시 시도를 선택합니다.

참고 항목

Blob Storage 폴더는 대/소문자를 구분하며 모든 소문자여야 합니다.
Blob 스토리지 브라우저 창이 나타납니다. NYC-Taxi-Green-2015-01.parquet 파일을 선택하고 데이터 미리 보기가 표시되기를 기다립니다. 그런 후 다음을 선택합니다.
복사 도우미의 데이터 대상 선택 단계에서 레이크하우스를 선택한 다음, 다음을 선택합니다.
표시되는 데이터 대상 구성 페이지에서 새 레이크하우스 만들기를 선택하고 새 레이크하우스의 이름을 입력합니다. 다음을 다시 선택합니다.
이제 선택에서 레이크하우스 대상의 세부 정보를 구성하고 폴더 경로 또는 테이블 페이지에 매핑합니다. 루트 폴더에 대한 테이블을 선택하고, 테이블 이름을 제공하고, 덮어쓰기 작업을 선택합니다. 테이블 덮어쓰기 작업을 선택한 후에 나타나는 파티션 사용 확인란을 선택하지 마세요.
마지막으로 복사 데이터 도우미의 검토 + 저장 페이지에서 구성을 검토합니다. 이 자습서에서는 다음 단계에서 작업을 수동으로 실행하므로 데이터 전송 즉시 시작 확인란의 선택을 취소합니다. 그런 다음 확인을 선택합니다.

3단계: 복사 작업 결과를 실행하고 확인합니다.

파이프라인 편집기에서 실행 탭을 선택합니다. 그런 다음 실행 버튼을 선택한 다음, 프롬프트에서 저장하고 실행하여 복사 작업 실행합니다.
실행을 모니터링하고 파이프라인 캔버스 아래의 출력 탭에서 결과를 확인할 수 있습니다. 실행 세부 정보 단추(실행 중인 파이프라인 실행을 마우스로 가리키면 나타나는 "안경" 아이콘)를 선택하여 실행 세부 정보를 봅니다.
실행 세부 정보에는 읽고 쓴 1,508,501개의 행이 표시됩니다.
기간 분석 구역을 확장하여 복사 작업 각 단계의 기간을 확인합니다. 복사 세부 정보를 검토한 후 닫기를 선택합니다.