샘플 데이터를 Lakehouse에 복사하고 Microsoft Fabric에서 Data Factory를 사용하여 데이터 흐름으로 변환

이 자습서에서는 파이프라인을 사용하여 고성능 복사 시 원본 데이터를 Lakehouse에 로드한 다음 데이터 흐름별로 데이터를 변환하여 사용자가 데이터를 쉽게 로드하고 변환할 수 있도록 하는 일반적인 시나리오에 대한 엔드 투 엔드 단계를 제공합니다.

중요

Microsoft Fabric은 현재 미리 보기로 제공됩니다. 이 정보는 릴리스되기 전에 상당히 수정될 수 있는 시험판 제품과 관련이 있습니다. Microsoft는 여기에 제공된 정보와 관련하여 명시적이거나 묵시적인 어떠한 보증도 하지 않습니다. Azure의 서비스에 대한 Azure Data Factory 설명서를 참조하세요.

사전 요구 사항

Microsoft Fabric 사용 작업 영역. 아직 없는 경우 작업 영역 만들기 문서를 참조하세요.

데이터 파이프라인 만들기

1. Data Factory 환경으로 전환합니다.

   

2. 새로 만들기를 선택한 다음 데이터 파이프라인을 선택한 다음 파이프라인의 이름을 입력합니다.

   

   

파이프라인을 사용하여 Lakehouse에 샘플 데이터 로드

다음 단계를 사용하여 샘플 데이터를 Lakehouse에 로드합니다.

1단계: 복사 도우미 시작

캔버스에서 데이터 복사 를 선택하여 복사 도우미 도구를 열어 시작합니다.

2단계: 원본 구성

1. 데이터 원본에 대한 샘플 데이터 옵션에서 공휴일을 선택한 다음, 다음을 선택합니다.

   

2. 데이터 복사 도우미의 데이터 원본에 연결 섹션에서 샘플 데이터의 미리 보기가 표시됩니다. 다음을 선택하여 데이터 대상으로 이동합니다.

   

3단계: 대상 구성

1. 작업 영역 탭을 선택하고 Lakehouse를 선택합니다. 그런 후 다음을 선택합니다.

   

2. 새 Lakehouse 만들기를 선택하고 이름에 LHDemo를 입력한 다음, 다음을 선택합니다.

   

3. 테이블 이름을 입력하여 원본 데이터를 구성하고 대상 Lakehouse 테이블에 매핑한 다음, 다음을 한 번 더 선택합니다.

   

4단계: 복사 작업 검토 및 만들기

1. 이전 단계에서 복사 작업 설정을 검토하고 즉시 데이터 전송 시작을 선택합니다. 그런 다음 저장 + 실행을 선택하여 새 파이프라인을 실행합니다.

   

2. 완료되면 복사 작업이 새 데이터 파이프라인 캔버스에 추가되고 파이프라인이 자동으로 실행되어 데이터를 Lakehouse로 로드합니다.

   

3. 실행 중인 프로세스를 모니터링하고 파이프라인 캔버스 아래의 출력 탭에서 결과를 검사 수 있습니다. 출력 행의 이름을 마우스로 가리키면 실행 세부 정보 단추(안경 아이콘, 강조 표시됨)가 표시되어 실행 세부 정보를 볼 수 있습니다.

   

4. 실행 세부 정보에는 69,557개의 행이 읽고 쓰여졌으며 기간에 대한 분석을 포함하여 실행에 대한 다양한 세부 정보가 표시됩니다.

   

데이터 흐름 gen2를 사용하여 Lakehouse에서 데이터 변환

이제 샘플 데이터가 로드된 Lakehouse가 있습니다. 다음으로 데이터 흐름을 사용하여 데이터를 변환합니다. 데이터 흐름은 대규모로 데이터를 변환하는 코드 없는 방법입니다.

1. 새로 만들기를 선택한 다음, Dataflow Gen2를 선택합니다.

   

2. 데이터 가져오기 드롭다운을 클릭하고 자세히...를 선택합니다.

   

3. Lakehouse를 검색하고 Microsoft Fabric에서 Lakehouse를 선택합니다.

   

4. 로그인하고 다음 을 클릭하여 계속합니다.

   

5. 이전 단계에서 만든 테이블을 선택하고 만들기를 클릭합니다.

   

6. 편집기에서 데이터 미리 보기를 검토합니다.

   

7. Countryorregion 열이 벨기에와 같은 행만 포함하도록 데이터 흐름에 필터를 적용합니다.

   

8. 데이터 대상 추가를 선택한 다음 Microsoft Fabric에서 Lakehouse를 선택하여 쿼리에 데이터 대상을 추가합니다.

   

9. 로그인하고 다음 을 클릭하여 계속합니다.

   

10. BelgiumPublicHolidays라는 새 테이블을 만들고 다음을 클릭합니다.

    

11. 설정을 검토하고 설정 저장을 클릭합니다.

    

12. 게시를 클릭하여 데이터 흐름을 게시합니다.

    

13. 데이터 흐름이 게시되면 지금 새로 고침 을 클릭하여 데이터 흐름을 실행합니다.

    

새로 고침이 완료되면 Lakehouse 테이블에서 데이터를 볼 수 있습니다. 이제 이 데이터를 사용하여 보고서, 대시보드 등을 만들 수도 있습니다.

다음 단계

이 샘플에서는 Microsoft Fabric의 Data Factory를 사용하여 샘플 데이터를 Lakehouse에 복사하고 데이터 흐름으로 데이터를 변환하는 방법을 보여 줍니다. 구체적으로 다음 작업 방법을 알아보았습니다.

• 데이터 파이프라인을 만듭니다.
• 파이프라인을 사용하여 샘플 데이터를 Lakehouse에 로드합니다.
• 데이터 흐름을 사용하여 Lakehouse에서 데이터를 변환합니다.

다음으로, 파이프라인 실행 모니터링에 대해 자세히 알아보세요.

Microsoft Fabric에서 파이프라인 실행을 모니터링하는 방법