파일에서 데이터베이스로 대량 복사
적용 대상:
Azure Data Factory Azure Synapse Analytics
팁
기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!
이 문서에서는 Azure Data Lake Storage Gen2에서 Azure Synapse Analytics/Azure SQL Database로 데이터를 대량으로 복사하는 데 사용할 수 있는 솔루션 템플릿을 설명합니다.
이 솔루션 템플릿 정보
이 템플릿은 Azure Data Lake Storage Gen2 원본에서 파일을 검색합니다. 그런 다음, 원본의 각 파일을 반복하고 해당 파일을 대상 데이터 저장소에 복사합니다.
현재 이 템플릿은 DelimitedText 형식으로 데이터를 복사하는 것만 지원합니다. 다른 데이터 형식의 파일을 원본 데이터 저장소에서 검색할 수도 있지만 대상 데이터 저장소로 복사할 수는 없습니다.
이 템플릿은 다음 세 가지 작업을 포함합니다.
- 메타데이터 가져오기 작업은 Azure Data Lake Storage Gen2에서 파일을 검색한 후 후속 ForEach 작업으로 전달합니다.
- ForEach 작업은 메타데이터 가져오기 작업에서 파일을 가져오고 각 파일을 복사 작업으로 반복합니다.
- 복사 작업은 ForEach 작업에 있으며 각 파일을 원본 데이터 저장소에서 대상 데이터 저장소로 복사합니다.
템플릿은 다음 두 매개 변수를 정의합니다.
- SourceContainer는 Azure Data Lake Storage Gen2에서 데이터가 복사되는 루트 컨테이너 경로입니다.
- SourceDirectory는 Azure Data Lake Storage Gen2에서 데이터가 복사되는 루트 컨테이너 아래의 디렉터리 경로입니다.
이 솔루션 템플릿을 사용하는 방법
Azure Data Factory Studio를 열고 연필 아이콘이 있는 작성자 탭을 선택합니다.
파이프라인 섹션을 마우스로 가리키고 오른쪽에 표시되는 줄임표를 선택합니다. 그런 다음, 템플릿에서 파이프라인을 선택합니다.
파일에서 데이터베이스로 대량 복사 템플릿을 선택한 다음, 계속을 선택합니다.
원본 Gen2 저장소에 대한 새 연결을 원본으로 만들고, 싱크의 데이터베이스에 대한 연결을 만듭니다. 그런 다음, 이 템플릿 사용을 선택합니다.
다음 예제와 같이 새 파이프라인이 만들어집니다.
디버그를 선택하고 매개 변수를 입력한 다음, 마침을 선택합니다.
파이프라인 실행이 성공적으로 완료되면 다음 예제와 유사한 결과가 표시됩니다.
