데이터 파이프라인을 사용하여 웨어하우스로 데이터 수집

아티클
04/24/2024

적용 대상: Microsoft Fabric의 웨어하우스

데이터 파이프라인은 그래픽 사용자 인터페이스를 통해 COPY 명령을 사용하는 대신 사용할 수 있습니다. 데이터 파이프라인은 데이터 수집 작업을 함께 수행하는 작업의 논리적 그룹화입니다. 파이프라인을 사용하면 각 작업을 개별적으로 관리하는 대신 ETL(추출, 변환 및 로드) 작업을 관리할 수 있습니다.

이 자습서에서는 샘플 데이터를 Microsoft Fabric의 웨어하우스에 로드하는 새 파이프라인을 만듭니다.

참고 항목

Azure Data Factory의 일부 기능은 Microsoft Fabric에서 사용할 수 없지만 개념은 서로 교환할 수 있습니다. Azure Data Factory 및 Azure Synapse Analytics의 파이프라인 및 활동에 대한 Azure Data Factory 및 파이프라인에 대해 자세히 알아볼 수 있습니다. 빠른 시작 은 빠른 시작: 데이터를 복사하는 첫 번째 파이프라인을 만듭니다.

데이터 파이프라인 만들기

새 파이프라인을 만들려면 작업 영역으로 이동하여 +새로 만들기 단추를 선택하고 데이터 파이프라인을 선택합니다.
새 파이프라인 대화 상자에서 새 파이프라인의 이름을 제공하고 만들기를 선택합니다.
파이프라인 캔버스 영역에 도착합니다. 여기서 시작할 세 가지 옵션인 파이프라인 작업 추가, 데이터 복사 및 시작할 작업 선택 옵션이 표시됩니다.

이러한 각 옵션은 파이프라인을 만드는 다양한 대안을 제공합니다.
- 파이프라인 작업 추가: 이 옵션은 파이프라인 편집기를 시작하여 파이프라인 활동을 사용하여 새 파이프라인을 처음부터 만들 수 있습니다.
- 데이터 복사: 이 옵션은 데이터 원본, 대상을 선택하고 열 매핑과 같은 데이터 로드 옵션을 구성하는 데 도움이 되는 단계별 도우미 시작합니다. 완료되면 데이터 복사 작업이 이미 구성된 새 파이프라인 작업을 만듭니다.
- 시작할 작업 선택: 이 옵션은 다양한 시나리오에 따라 파이프라인을 시작하는 데 도움이 되는 미리 정의된 템플릿 집합을 시작합니다.
데이터 복사 옵션을 선택하여 도우미 복사를 시작합니다.
데이터 복사 도우미 첫 번째 페이지는 다양한 데이터 원본에서 사용자 고유의 데이터를 선택하거나 제공된 샘플 중 하나를 선택하여 시작하는 데 도움이 됩니다. 이 자습서에서는 COVID-19 Data Lake 샘플을 사용합니다. 이 옵션을 선택하고 다음을 선택합니다.
다음 페이지에서 데이터 세트, 원본 파일 형식을 선택하고 선택한 데이터 세트를 미리 볼 수 있습니다. CSV 형식인 Bing COVID-19를 선택하고 다음을 선택합니다.
다음 페이지인 데이터 대상을 사용하면 대상 작업 영역의 형식을 구성할 수 있습니다. 작업 영역의 웨어하우스에 데이터를 로드하므로 웨어하우스 탭 및 데이터 웨어하우스 옵션을 선택합니다. 다음을 선택합니다.
이제 데이터를 로드할 웨어하우스를 선택해야 합니다. 드롭다운 목록에서 원하는 웨어하우스를 선택하고 다음을 선택합니다.
대상을 구성하는 마지막 단계는 대상 테이블에 이름을 제공하고 열 매핑을 구성하는 것입니다. 여기에서 데이터를 새 테이블 또는 기존 테이블로 로드하거나, 스키마 및 테이블 이름을 제공하고, 열 이름을 변경하거나, 열을 제거하거나, 매핑을 변경할 수 있습니다. 기본값을 적용하거나 설정을 기본 설정으로 조정할 수 있습니다.

옵션 검토를 마쳤으면 다음을 선택합니다.
다음 페이지에서는 스테이징을 사용하거나 T-SQL COPY 명령을 사용하는 데이터 복사 작업에 대한 고급 옵션을 제공하는 옵션을 제공합니다. 옵션을 변경하지 않고 검토하고 다음을 선택합니다.
도우미 마지막 페이지에서는 복사 작업의 요약을 제공합니다. 즉시 데이터 전송 시작 옵션을 선택하고 저장 + 실행을 선택합니다.
새 데이터 복사 작업이 이미 구성된 파이프라인 캔버스 영역으로 전달됩니다. 파이프라인이 자동으로 실행되도록 시작합니다. 출력 창에서 파이프라인의 상태 모니터링할 수 있습니다.
몇 초 후에 파이프라인이 성공적으로 완료됩니다. 웨어하우스로 돌아가서 테이블을 선택하여 데이터를 미리 확인하고 복사 작업이 완료되었음을 확인할 수 있습니다.