데이터 복사 도구를 사용하여 Azure Blob 스토리지에서 SQL Database로 데이터 복사

아티클
02/23/2024

적용 대상: Azure Data Factory Azure Synapse Analytics

팁

기업용 올인원 분석 솔루션인 Microsoft Fabric의 Data Factory를 사용해 보세요. Microsoft Fabric은 데이터 이동부터 데이터 과학, 실시간 분석, 비즈니스 인텔리전스 및 보고에 이르기까지 모든 것을 다룹니다. 무료로 새 평가판을 시작하는 방법을 알아봅니다!

이 자습서에서는 Azure Portal을 사용하여 데이터 팩터리를 만듭니다. 그런 다음, 데이터 복사 도구를 사용하여 Azure Blob 스토리지에서 SQL Database로 데이터를 복사하는 파이프라인을 만듭니다.

참고 항목

Azure Data Factory를 처음 사용하는 경우 Azure Data Factory 소개를 참조하세요.

이 자습서에서는 다음 단계를 수행합니다.

데이터 팩터리를 만듭니다.
데이터 복사 도구를 사용하여 파이프라인 만들기
파이프라인 및 작업 실행을 모니터링합니다.

필수 조건

Azure 구독: Azure 구독이 아직 없는 경우 시작하기 전에 체험 계정을 만듭니다.
Azure Storage 계정: Blob Storage를 원본 데이터 스토리지로 사용합니다. Azure Storage 계정이 없는 경우 스토리지 계정 만들기의 지침을 참조하세요.
Azure SQL Database: SQL Database를 싱크 데이터 저장소로 사용합니다. SQL Database가 없는 경우 SQL Database 만들기의 지침을 참조하세요.

SQL 데이터베이스 준비

Azure 서비스가 Azure SQL Database의 논리적 SQL Server에 액세스할 수 있도록 허용합니다.

SQL Database를 실행하는 서버에 대해 Azure 서비스 및 리소스가 이 서버에 액세스할 수 있도록 허용 설정이 사용하도록 설정되어 있는지 확인합니다. 이 설정을 사용하면 Data Factory에서 데이터베이스 인스턴스에 데이터를 쓸 수 있습니다. 이 설정을 확인하고 설정하려면 논리 SQL 서버 > 보안 > 방화벽 및 가상 네트워크로 차례로 이동하여 >Azure 서비스 및 리소스가 이 서버에 액세스할 수 있도록 허용 옵션을 켜기로 설정합니다.

참고 항목

Azure 서비스 및 리소스에서 이 서버에 액세스할 수 있도록 허용하는 옵션을 사용하면 구독에 있는 리소스뿐만 아니라 모든 Azure 리소스에서 SQL Server에 대한 네트워크 액세스가 가능합니다. 모든 환경에는 적합하지는 않을 수 있지만 이 제한된 자습서에는 적합합니다. 자세한 내용은 Azure SQL Server Firewall 규칙을 참조하세요. 대신, 프라이빗 엔드포인트를 사용하여 공용 IP를 사용하지 않고 Azure PaaS 서비스에 연결할 수 있습니다.

Blob 및 SQL 테이블 만들기

다음 단계를 수행하여 자습서에서 사용할 Blob 스토리지와 SQL Database를 준비합니다.

원본 Blob 만들기

메모장을 시작합니다. 다음 텍스트를 복사하여 디스크에 inputEmp.txt라는 파일로 저장합니다.
```
FirstName|LastName
John|Doe
Jane|Doe
```
adfv2tutorial이라는 컨테이너를 만들고, inputEmp.txt 파일을 이 컨테이너에 업로드합니다. Azure Portal 또는 Azure Storage Explorer와 같은 다양한 도구를 사용하여 이러한 작업을 수행할 수 있습니다.

싱크 SQL 테이블 만들기

다음 SQL 스크립트를 사용하여 SQL Database에 dbo.emp라는 테이블을 만듭니다.

CREATE TABLE dbo.emp
(
    ID int IDENTITY(1,1) NOT NULL,
    FirstName varchar(50),
    LastName varchar(50)
)
GO
CREATE CLUSTERED INDEX IX_emp_ID ON dbo.emp (ID);

데이터 팩터리 만들기

왼쪽 메뉴에서 리소스 만들기>통합>Data Factory를 선택합니다.
새 데이터 팩터리 페이지의 이름 아래에서 ADFTutorialDataFactory를 입력합니다.

데이터 팩터리 이름은 전역적으로 고유해야 합니다. 다음과 같은 오류 메시지가 표시될 수 있습니다.

이름 값에 대한 오류 메시지가 표시되면 데이터 팩터리에 대한 다른 이름을 입력합니다. 예를 들어 yournameADFTutorialDataFactory를 사용합니다. 데이터 팩터리 아티팩트에 대한 명명 규칙은 데이터 팩터리 명명 규칙을 참조하세요.
새 데이터 팩터리를 만들 Azure 구독을 선택합니다.
리소스 그룹에 대해 다음 단계 중 하나를 사용합니다.

a. 기존 항목 사용을 선택하고 드롭다운 목록에서 기존 리소스 그룹을 선택합니다.

b. 새로 만들기를 선택하고, 리소스 그룹의 이름을 입력합니다.

리소스 그룹에 대한 자세한 내용은 리소스 그룹을 사용하여 Azure 리소스 관리를 참조하세요.
버전 아래에서 버전에 대해 V2를 선택합니다.
위치 아래에서 데이터 팩터리에 대한 위치를 선택합니다. 지원되는 위치만 드롭다운 목록에 표시됩니다. 데이터 팩터리에서 사용되는 데이터 저장소(예: Azure Storage, SQL Database) 및 계산(예: Azure HDInsight)은 다른 위치와 지역에 있을 수 있습니다.
만들기를 실행합니다.
만들기가 완료되면 Data Factory 홈페이지가 표시됩니다.
별도의 탭에서 Azure Data Factory 사용자 인터페이스(UI)를 시작하려면 Azure Data Factory Studio 열기 타일에서 열기를 선택합니다.

데이터 복사 도구를 사용하여 파이프라인 만들기

Azure Data Factory 홈페이지에서 수집 타일을 선택하여 데이터 복사 도구를 시작합니다.
데이터 복사 도구의 속성 페이지에 있는 작업 유형 아래에서 기본 제공 복사 작업을 선택한 후 다음을 선택합니다.
원본 데이터 저장소 페이지에서 다음 단계를 완료합니다.

a. + 새 연결 만들기를 선택하여 연결을 추가합니다.

b. 갤러리에서 Azure Blob Storage를 선택한 다음, 계속을 선택합니다.

c. 새 연결(Azure Blob Storage) 페이지의 Azure 구독 목록에서 자신의 Azure 구독을 선택하고 Storage 계정 이름 목록에서 자신의 스토리지 계정을 선택합니다. 연결을 테스트한 다음, 만들기를 선택합니다.

d. 연결 블록에서 새로 만든 연결된 서비스를 소스로 선택합니다.

e. 파일 또는 폴더 섹션에서 찾아보기를 선택하여 adfv2tutorial 폴더로 이동하고, inputEmp.txt 파일을 선택한 다음 확인을 선택합니다.

f. 다음을 선택하여 다음 단계로 이동합니다.
파일 형식 설정 페이지에서 첫 행을 머리글로에 대한 확인란을 활성화합니다. 도구는 열 및 행 구분 기호를 자동으로 검색하며, 이 페이지에서 데이터 미리 보기 단추를 선택하여 데이터를 미리 보고 입력 데이터의 스키마를 볼 수 있습니다. 그런 후 다음을 선택합니다.
대상 데이터 저장소 페이지에서 다음 단계를 완료합니다.

a. + 새 연결 만들기를 선택하여 연결을 추가합니다.

b. 갤러리에서 Azure SQL Database를 선택한 다음, 계속을 선택합니다.

c. 새 연결(Azure SQL Database) 페이지의 드롭다운 목록에서 Azure 구독, 서버 이름 및 데이터베이스 이름을 선택합니다. 그런 다음 인증 유형에서 SQL 인증을 선택하고, 사용자 이름과 암호를 지정합니다. 연결을 테스트하고 만들기를 선택합니다.

d. 새로 만든 연결된 서비스를 싱크로 선택한 후, 다음을 선택합니다.
대상 데이터 저장소 페이지에서 기존 테이블 사용을 선택하고, dbo.emp 테이블을 선택합니다. 그런 후 다음을 선택합니다.
열 매핑 페이지에서 입력 파일의 두 번째 및 세 번째 열이 emp 테이블의 FirstName 및 LastName 열에 매핑됩니다. 매핑을 조정하여 오류가 없는지 확인한 다음, 다음을 선택합니다.
설정 페이지에서 작업 이름 밑에 CopyFromBlobToSqlPipeline을 입력하고 다음을 선택합니다.
요약 페이지에서 설정을 검토하고 다음을 선택합니다.
배포 페이지에서 모니터링을 선택하여 파이프라인(작업)을 모니터링합니다.
파이프라인 실행 페이지에서 새로 고침을 선택하여 목록을 새로 고칩니다. 파이프라인 이름 아래 링크를 선택하여 활동 실행 세부 정보를 보거나 파이프라인을 다시 실행합니다.
복사 작업에 관한 자세한 내용은 ‘활동 실행’ 페이지의 활동 이름 열에서 세부 정보 링크(안경 아이콘)를 선택하면 확인할 수 있습니다. ‘파이프라인 실행’ 보기로 돌아가려면 이동 경로 메뉴의 모든 파이프라인 실행 링크를 선택합니다. 보기를 새로 고치려면 새로 고침을 선택합니다.
데이터가 SQL Database의 dbo.emp 테이블에 삽입되어 있는지 확인합니다.
왼쪽의 작성 탭을 선택하여 편집기 모드로 전환합니다. 편집기를 사용하여 도구를 통해 만든 연결된 서비스, 데이터 세트 및 파이프라인을 업데이트할 수 있습니다. Data Factory UI에서 이러한 엔터티를 편집하는 방법에 대한 자세한 내용은 이 자습서의 Azure Portal 버전을 참조하세요.