Dataverse 데이터를 Azure SQL에 복사

아티클
04/09/2023

Azure Synapse Link를 사용하여 Microsoft Dataverse 데이터를 Azure Synapse Analytics에 연결하여 데이터를 탐색하고 인사이트를 얻는 시간을 단축할 수 있습니다. 이 문서에서는 Azure Synapse Link에서 활성화된 증분 업데이트 기능을 사용하여 Azure Data Lake Storage Gen2에서 Azure SQL Database로 데이터를 복사하기 위해 Azure Synapse 파이프라인 또는 Azure Data Factory를 실행하는 방법을 설명합니다.

참고

Azure Synapse Link for Microsoft Dataverse는 이전에 data lake로 내보내기로 알려졌습니다. 이 서비스는 2021년 5월부터 이름이 변경되었으며 Azure Data Lake 및 Azure Synapse Analytics로 계속 데이터를 내보낼 예정입니다. 이 템플릿은 코드 샘플입니다. 제공된 파이프라인을 사용하여 Azure Data Lake Storage Gen2에서 Azure SQL Database로 데이터를 검색하는 기능을 테스트하기 위한 지침으로 이 템플릿을 사용하는 것이 좋습니다.

전제 조건

Azure Synapse Link for Dataverse. 이 가이드에서는 Azure Data Lake를 사용하여 Azure Synapse Link를 만들기 위한 전제 조건을 이미 충족했다고 가정합니다. 추가 정보: Azure Data Lake를 사용하는 Azure Synapse Link for Dataverse의 전제 조건
Power Apps 테넌트와 동일한 Microsoft Entra 테넌트 아래에 Azure Synapse Workspace 또는 Azure Data Factory를 만듭니다.
시간 간격을 설정하기 위해 증분 폴더 업데이트가 사용된 Azure Synapse Link for Dataverse를 만듭니다. 추가 정보: 증분 업데이트 쿼리 및 분석
Microsoft.EventGrid 공급자를 트리거에 등록해야 합니다. 추가 정보: Azure Portal. 참고: Azure Synapse Analytics에서 이 기능을 사용하는 경우 구독이 Data Factory 리소스 공급자에도 등록되어 있는지 확인하세요. 그렇지 않으면 "이벤트 구독" 생성에 실패했다는 오류가 표시됩니다.
Azure 서비스 및 리소스가 이 서버에 액세스하도록 허용 속성이 활성화된 Azure SQL 데이터베이스를 만듭니다. 추가 정보: Azure SQL Database(PaaS)를 설정할 때 알아야 할 사항은?
Azure 통합 런타임을 만들고 구성합니다. 추가 정보: Azure 통합 런타임 만들기 - Azure Data Factory & Azure Synapse

중요

이 템플릿을 사용하면 추가 비용이 발생할 수 있습니다. 이러한 비용은 Azure Data Factory 또는 Synapse 작업 영역 파이프라인의 사용량과 관련이 있으며 매월 청구됩니다. 파이프라인 사용 비용은 주로 증분 업데이트의 시간 간격과 데이터 볼륨에 따라 다릅니다. 이 기능 사용 비용을 계획하고 관리하려면 비용 분석을 통해 파이프라인 수준에서 비용 모니터링으로 이동하세요.

이 템플릿은 선택 사항이 아니며 이 기능을 계속 사용하려면 지불해야 하므로 이 템플릿을 사용하기로 결정할 때 이러한 추가 비용을 고려하는 것이 중요합니다.

Azure Portal로 이동하여 Azure Synapse workspace를 엽니다.
통합 > 갤러리 살펴보기를 선택합니다.
통합 갤러리에서 Synapse Link를 사용하여 Azure SQL에 Dataverse 데이터 복사를 선택합니다.

솔루션 템플릿 구성

적절한 인증 유형을 사용하여 Dataverse에 연결된 Azure Data Lake Storage Gen2에 연결된 서비스를 만듭니다. 이렇게 하려면 연결 테스트로 연결 유효성 검사하기을 선택한 다음 만들기를 선택합니다.
이전 단계와 유사하게 Dataverse 데이터가 동기화될 Azure SQL Database에 연결된 서비스를 만듭니다.
입력이 구성되면 이 템플릿 사용을 선택합니다.
이제 증분 업데이트가 주기적으로 완료될 때 파이프라인이 항상 파일을 처리할 수 있도록 트리거를 추가하여 이 파이프라인을 자동화할 수 있습니다. 관리 > 트리거로 이동하고 다음 속성을 사용하여 트리거를 만듭니다.
- 이름: triggerModelJson과 같은 트리거의 이름을 입력합니다.
- 유형: 스토리지 이벤트.
- Azure 구독: Azure Data Lake Storage Gen2가 있는 구독을 선택합니다.
- 스토리지 계정 이름: Dataverse 데이터가 있는 스토리지를 선택합니다.
- 컨테이너 이름: Azure Synapse Link에서 만든 컨테이너를 선택합니다.
- Blob 경로는 다음으로 끝납니다: /model.json
- 이벤트: Blob 생성됨.
- 빈 Blob 무시: 예.
- 트리거 시작: 생성 시 트리거 시작을 활성화합니다.
계속을 선택하여 다음 화면으로 넘어갑니다.
다음 화면에서 트리거는 일치하는 파일의 유효성을 검사합니다. 확인을 선택하여 트리거를 만듭니다.
트리거를 파이프라인과 연결합니다. 이전에 가져온 파이프라인으로 이동한 다음 트리거 추가 > 새로 만들기/편집을 선택합니다.
이전 단계에서 트리거를 선택한 후 계속을 선택하여 트리거가 일치하는 파일의 유효성을 검사하는 다음 화면으로 진행합니다.
계속을 선택하여 다음 화면으로 넘어갑니다.
트리거 실행 매개 변수 섹션에서 아래의 매개 변수를 입력하고 확인을 선택합니다.
- 컨테이너: @split(triggerBody().folderPath,'/')[0]
- 폴더: @split(triggerBody().folderPath,'/')[1]
트리거를 파이프라인과 연결한 후 모두 유효성 검사하기을 선택합니다.
유효성 검사가 성공하면 모두 게시를 선택합니다.
게시를 선택하여 모든 변경 사항을 게시합니다.