Azure Data Lake로 Azure Synapse Link for Dataverse 앱 만들기

아티클
05/06/2024

Azure Synapse Link를 사용하여 Microsoft Dataverse 데이터를 Azure Data Lake Storage Gen2에 연결하여 다양한 분석 시나리오를 사용할 수 있습니다. 이 문서에서는 다음 작업을 수행하는 방법을 보여줍니다.

Azure Synapse Link 서비스를 사용하여 Dataverse 데이터를 Azure Data Lake Storage Gen2 계정에 연결합니다.
Azure Synapse Link에 포함된 Dataverse 테이블을 관리합니다.
Azure Synapse Link를 모니터링합니다.
Azure Synapse Link의 연결을 해제합니다.
Azure Synapse Link를 다시 연결합니다.
Azure Data Lake에서 데이터를 보고 파일 구조를 이해합니다.

참고

Azure Synapse Link for Dataverse는 이전에 데이터 레이크로 내보내기로 알려졌습니다. 이 서비스는 2021년 5월부터 이름이 변경되었으며 Azure Data Lake 및 Azure Synapse Analytics로 계속 데이터를 내보낼 예정입니다.

전제 조건

Azure Data Lake Storage Gen2: Azure Data Lake Storage Gen2 계정과 소유자 및 Storage Blob 데이터 기여자 역할 액세스 권한이 있어야 합니다. 스토리지 계정은 초기 설정과 델타 동기화 모두에 대해 계층 구조 네임스페이스를 활성화해야 합니다. 스토리지 계정 키 액세스 허용은 초기 설정에만 필요합니다.

참고

저장소 계정은 Power Apps 테넌트와 동일한 Microsoft Entra 테넌트에서 만들어야 합니다.
선택된 IP 주소에서 액세스 권한을 부여하도록 연결된 스토리지 계정에 대해 선택한 가상 네트워크 및 IP 주소에서 활성화를 설정하려면 관리형 ID를 사용하여 Azure Synapse Link를 만들어야 합니다. Azure Data Lake Storage와 함께 Azure용 관리형 ID 사용(관리형 ID를 설정하지 않은 경우 초기 설정 및 델타 동기화 모두를 위해 Azure 리소스에 대한 공용 네트워크 액세스를 활성화해야 합니다.)
스토리지 계정으로 리소스 그룹에 Reader 역할 액세스를 반드시 가지고 있어야 합니다.
환경을 Azure Data Lake Storage Gen2에 연결하려면 Dataverse 시스템 관리자 보안 역할이 있어야 합니다.
변경 내용 추적을 사용할 수 있는 테이블만 내보낼 수 있습니다.
단일 Dataverse 환경에서 Azure Synapse Link 프로필을 만드는 것은 최대 10개로 제한됩니다.

Azure Data Lake Storage Gen2에 Dataverse 연결

Power Apps에 로그인하고 원하는 환경을 선택합니다.
왼쪽 탐색 창에서 Azure Synapse Link를 선택합니다. 측면 패널 창에 Azure Synapse Link가 표시되지 않으면 …자세히를 선택하고 모두 검색을 선택하세요. Azure Synapse Link는 데이터 관리 섹션에 있습니다.
명령 모음에서 + 데이터 레이크에 대한 새 링크를 선택합니다.
구독, 리소스 그룹 및 스토리지 계정을 선택합니다. 스토리지 계정이 전제 조건 섹션에 지정된 요구 사항을 충족하는지 확인합니다. 다음을 선택합니다.

참고

환경을 데이터 레이크에 연결하는 과정에서 스토리지 계정에 대한 Azure Synapse Link 서비스 액세스 권한을 부여합니다. Azure Data Lake Storage 계정을 만들고 구성하고 스토리지 계정에 대한 소유자 역할을 부여하는 전제 조건을 따랐는지 확인하세요. 또한 스토리지 계정에 대한 Power Platform 데이터 흐름 서비스 액세스를 부여합니다. 추가 정보: 데이터 흐름을 통한 셀프 서비스 데이터 준비.
내보낼 테이블을 추가한 다음 저장을 선택합니다. 변경 내용 추적을 사용할 수 있는 테이블만 내보낼 수 있습니다. 추가 정보: 변경 내용 추적 사용.

이 문서의 단계에 따라 한 환경에서 Azure 구독의 여러 Azure 데이터 레이크로 연결되는 링크를 만들 수 있습니다. 마찬가지로, 여러 환경에서 같은 테넌트 내의 같은 Azure Data Lake로 연결을 생성할 수 있습니다.

참고

Azure Synapse Link for Dataverse 서비스는 즉시 사용 가능한 기능으로 Power Platform에 원활하게 통합됩니다. Power Platform 데이터 스토리지 및 거버넌스에 대해 설정된 보안 및 거버넌스 표준을 충족합니다. 추가 정보: 데이터 스토리지 및 거버넌스

Azure Synapse Link 서비스에서 내보낸 데이터는 TLS(Transport Layer Security) 1.2 이상을 사용하여 전송 시 암호화되고 Azure Data Lake Storage Gen2에서 유휴 시 암호화됩니다. 또한 Blob Storage의 임시 데이터도 미사용 시 암호화됩니다. Azure Data Lake Storage Gen2의 암호화는 데이터를 보호하고 엔터프라이즈 보안 정책을 구현하며 규정 준수 요구 사항을 충족하도록 도와줍니다. 추가 정보: Azure 데이터 미사용 시 암호화

데이터 레이크에 대한 테이블 데이터 관리

Azure Synapse Link를 설정한 후 다음 두 가지 방법 중 하나로 내보낸 테이블을 관리할 수 있습니다.

Power Apps 제작자 포털 Azure Synapse Link 영역의 명령 모음에서 테이블 관리를 선택하여 하나 이상의 연결된 테이블을 추가하거나 제거합니다.
Power Apps 제작자 포털 테이블 영역에서 … 을 선택합니다. 테이블 옆에 있는 다음 테이블 데이터를 내보낼 연결된 데이터 레이크를 선택합니다.

Azure Synapse Link 모니터링

Azure Synapse Link를 설정한 후 테이블 탭에서 Azure Synapse Link를 모니터링할 수 있습니다.

Azure Synapse Link 모니터링

선택한 Azure Synapse Link의 일부인 테이블 목록이 있습니다.
동기화 상태가 순환하는 여러 단계가 있습니다. NotStarted는 테이블이 동기화 대기 중임을 나타냅니다. 테이블 초기 동기화가 완료되면 증분 업데이트가 발생하지 않는 사후 처리 단계가 있습니다. 데이터 크기에 따라 몇 시간이 걸릴 수 있습니다. 증분 업데이트가 시작되면 마지막 동기화 날짜가 정기적으로 업데이트됩니다.
개수 열은 작성된 행 수를 보여줍니다. 추가 전용이 아니요로 설정되어 있으면 레코드의 총 개수입니다. 추가 전용이 예로 설정되어 있으면 변경 사항의 총 개수입니다.
추가 전용 및 분할 전략 열은 다른 고급 구성의 사용법을 보여줍니다.

Azure Synapse Link 연결 해제

원하는 Azure Synapse Link를 선택하여 연결을 해제합니다.
명령 모음에서 데이터 레이트 연결 해제를 선택합니다.
Data Lake 파일 시스템을 모두 삭제하려면 데이터 레이크 파일 시스템 삭제를 선택합니다.
예를 선택하고 모든 연결이 해제되고 삭제될 때까지 몇 분 정도 기다립니다.

Azure Synapse Link 다시 연결

연결을 해제할 때 파일 시스템을 삭제한 경우 위의 단계에 따라 동일한 데이터 레이크를 다시 연결합니다. 연결을 해제할 때 파일 시스템을 삭제하지 않은 경우 다시 연결할 데이터를 지워야 합니다.

Azure Data Lake로 이동
Dataverse 컨테이너를 삭제합니다.
Power Apps으로 이동한 후 데이터 레이크를 다시 연결합니다.

Azure Data Lake Storage Gen2에서 데이터 보기

원하는 Azure Synapse Link를 선택한 후 상단 패널에서 Azure Data Lake로 이동을 선택합니다.
파일 시스템을 확장한 후 Dataverse-environmentName-organizationUniqueName을 선택합니다.

model.json 파일은 이름 및 버전과 함께 데이터 레이크로 내 보낸 테이블 목록을 제공합니다. model.json 파일에는 초기 동기화 상태 및 동기화 완료 시간도 포함됩니다.

데이터 레이크로 내보낸 각 테이블에 대해 스냅샷 쉼표로 구분된(CSV 형식) 파일이 포함된 폴더가 표시됩니다. Data Lake의 테이블 데이터.

데이터 레이크만 있는 기존 Azure Synapse Link 프로필에 Synapse 작업 영역 연결

웹 브라우저 주소 표시줄에서 exporttodatalake로 끝나는 웹 주소에 ?athena.updateLake=true를 추가합니다.
Azure Synapse Link 영역에서 기존 프로필을 선택한 다음 확장 옵션을 선택하세요.
Azure Synapse Analytics Workspace에 연결을 선택하고 모든 연결이 해제되고 삭제될 때까지 몇 분 정도 기다립니다.

지속적인 스냅숏 업데이트

트랜잭션 생성, 업데이트 및 삭제를 통해 Microsoft Dataverse 데이터가 지속적으로 변경될 수 있습니다. 스냅숏은 정기적으로 업데이트되는 데이터의 읽기 전용 복사본을 매시간마다 제공합니다. 이를 통해 특정 시점에서 데이터 분석 소비자가 레이크에서 데이터를 안정적으로 사용할 수 있습니다.

지속적인 스냅숏 업데이트.

테이블이 초기 내보내기의 일부로 추가되면 테이블 데이터는 데이터 레이크의 해당 폴더 아래에 있는 table.csv 파일에 기록됩니다. 이것은 T1 간격으로, 테이블 이름이 T1.csv인 스냅샷 읽기 전용 파일—예: Account-T1.csv 또는 Contacts-T1.csv—이 생성됩니다. 또한 이러한 스냅숏 파일을 가리 키도록 model.json 파일이 업데이트됩니다. model.json을 열면 스냅숏 세부 사항을 볼 수 있습니다.

데이터 레이크에 있는 Account.csv 파티션 파일 및 스냅숏 폴더의 예는 다음과 같습니다.

계정 테이블 스냅샷.

Dataverse의 변경 사항은 물방울 공급 엔진을 사용하여 해당 CSV 파일로 계속 푸시됩니다. 이것은 다른 스냅숏이 생성되는 T2 간격입니다. —예를 들어 Accounts-T2.csv 또는 Contacts-T2.csv(테이블에 대한 변경 사항이 있다고 가정)—인 table-T2.csv 및 model.json이 새 스냅샷 파일로 업데이트됩니다. T2 이후의 스냅숏 데이터를 보는 모든 새 사람은 최신 스냅숏 파일로 리디렉션됩니다. 이런 방식으로 기존 스냅숏 뷰어는 이전 스냅숏 T1 파일에서 계속 작동하는 반면 새로운 뷰어는 최신 업데이트를 읽을 수 있습니다. 이는 다운스트림 프로세스가 오래 실행되는 시나리오에서 유용합니다.

참고

데이터 업데이트가 있는 경우에만 새 스냅샷 파일이 생성됩니다. 최근 5개의 스냅샷 파일만 유지됩니다. 정체된 데이터는 Azure Data Lake Storage Gen 2 계정에서 자동으로 제거됩니다.

다음은 항상 최신 타임스탬프가 있는 거래처 스냅숏 파일을 가리키는 model.json 파일의 예입니다.

샘플 스냅숏 model.json 파일.

다음 항목은 무엇인가요?

Azure Synapse Link for Dataverse 서비스를 성공적으로 사용한 후 검색 허브를 사용하여 데이터를 분석하고 사용할 수 있는 방법을 알아봅니다. 검색 허브에 액세스하려면 Power Apps > Azure Synapse Link로 이동합니다. 연결된 서비스를 선택한 다음 검색 허브 탭을 선택합니다. 여기에서 데이터를 최대한 활용하는 데 도움이 되는 권장 도구와 선별된 문서를 찾을 수 있습니다. 검색 허브.