파일에서 데이터베이스로 대량 복사

적용 대상: Azure Data Factory Azure Synapse Analytics

이 문서에서는 Azure Data Lake Storage Gen2에서 Azure Synapse Analytics/Azure SQL Database로 데이터를 대량으로 복사하는 데 사용할 수 있는 솔루션 템플릿을 설명합니다.

이 솔루션 템플릿 정보

이 템플릿은 Azure Data Lake Storage Gen2 원본에서 파일을 검색합니다. 그런 다음, 원본의 각 파일을 반복하고 해당 파일을 대상 데이터 저장소에 복사합니다.

현재 이 템플릿은 DelimitedText 형식으로 데이터를 복사하는 것만 지원합니다. 다른 데이터 형식의 파일을 원본 데이터 저장소에서 검색할 수도 있지만 대상 데이터 저장소로 복사할 수는 없습니다.

이 템플릿은 다음 세 가지 작업을 포함합니다.

  • 메타데이터 가져오기 작업은 Azure Data Lake Storage Gen2에서 파일을 검색한 후 후속 ForEach 작업으로 전달합니다.
  • ForEach 작업은 메타데이터 가져오기 작업에서 파일을 가져오고 각 파일을 복사 작업으로 반복합니다.
  • 복사 작업은 ForEach 작업에 있으며 각 파일을 원본 데이터 저장소에서 대상 데이터 저장소로 복사합니다.

템플릿은 다음 두 매개 변수를 정의합니다.

  • SourceContainer는 Azure Data Lake Storage Gen2에서 데이터가 복사되는 루트 컨테이너 경로입니다.
  • SourceDirectory는 Azure Data Lake Storage Gen2에서 데이터가 복사되는 루트 컨테이너 아래의 디렉터리 경로입니다.

이 솔루션 템플릿을 사용하는 방법

  1. Azure Data Factory Studio를 열고 연필 아이콘이 있는 작성자 탭을 선택합니다.

  2. 파이프라인 섹션을 마우스로 가리키고 오른쪽에 표시되는 줄임표를 선택합니다. 그런 다음 템플릿에서 파이프라인을 선택합니다. 템플릿의 파이프라인 단추를 보여 주는 데이터 팩터리 사용자 인터페이스의 스크린샷.

  3. 파일에서 데이터베이스 템플릿으로 대량 복사를선택한 다음 계속을 선택합니다. 템플릿 브라우저의 데이터베이스 템플릿에 파일을 대량 복사하는 스크린샷

  4. 원본 Gen2 저장소에 대한 연결을 원본으로 만들고, 하나는 싱크의 데이터베이스에 연결합니다. 그런 다음 , 이 템플릿 사용을 선택합니다.

    원본 및 싱크 데이터 원본이 강조 표시된 템플릿 편집기의 스크린샷

  5. 다음 예제와 같이 새 파이프라인이 만들어집니다.

    파이프라인 검토

  6. 디버그를 선택하고 매개 변수를 입력한 다음, 마침을 선택합니다.

    **디버그** 클릭

  7. 파이프라인 실행이 성공적으로 완료되면 다음 예제와 유사한 결과가 표시됩니다.

    결과 검토

다음 단계