데이터 애플리케이션(원본 정렬)
작업 원본에서 데이터를 한 번 수집하기 위해 데이터 독립적 엔진을 구현하지 않도록 선택하거나 데이터 독립적 엔진에서 복잡한 연결이 용이하지 않은 경우 원본 정렬된 데이터 애플리케이션을 만들어야 합니다. 외부 데이터 원본에서 데이터를 수집할 때 데이터 독립적 엔진과 동일한 흐름을 따라야 합니다.
개요
애플리케이션 리소스 그룹은 원격 분석, 재무 및 CRM과 같은 외부 원본의 데이터 수집 및 보강만 담당합니다. 이 레이어는 실시간, 일괄 처리 및 마이크로 일괄 처리에서 작동할 수 있습니다.
이 섹션에서는 데이터 랜딩 존 내의 각 데이터 애플리케이션(원본 정렬) 리소스 그룹에 대해 배포되는 인프라에 대해 설명합니다.
팁
데이터 메시의 경우 원본당 또는 도메인당 하나씩 배포하도록 선택할 수 있습니다. 데이터 표준화, 데이터 품질 및 데이터 계보의 원칙은 계속 따라야 합니다. 데이터 플랫폼 운영 팀은 표준 코드 조각을 개발하고 이를 달성하도록 요청할 수 있습니다.
데이터 랜딩 존의 각 데이터 애플리케이션(원본 정렬) 리소스 그룹에 대해 다음을 만들어야 합니다.
- Azure Key Vault
- 데이터를 원시에서 보강으로 변환하기 위해 개발된 엔지니어링 파이프라인을 실행하기 위한 Azure Data Factory
- Azure Databricks에 수집 작업을 배포하기 위해 데이터 애플리케이션(원본 정렬)에서 사용하는 서비스 주체(Azure Databricks를 사용하는 경우에만)
Azure Event Hubs, Azure IoT Hub, Azure Stream Analytics 및 Azure Machine Learning과 같은 다른 서비스의 인스턴스를 만들 수도 있습니다.
참고
델타 레이크 표준을 적용하려면 Azure Synapse Spark 또는 Azure Databricks와 같은 Spark 엔진을 사용해야 합니다.
Azure Databricks를 사용하기로 결정한 경우 필요한 기능으로만 노출 영역을 줄이기 위해 Azure Synapse Analytics 작업 영역 대신 Azure Data Factory에 배포하는 것이 좋습니다.
그러나 파이프라인 및 Spark를 포함하는 모든 것을 포괄하는 개발 영역이 필요한 경우 Azure Synapse Analytics를 사용합니다. Azure Synapse SQL 풀에서 사일로를 만들지 않도록 Spark 및 파이프라인만 사용하도록 허용하는 정책을 적용합니다.
Azure Key Vault
가능하면 Azure Key Vault 기능을 사용하여 Azure 내에 비밀을 저장합니다.
각 데이터 애플리케이션(원본 정렬) 리소스 그룹 또는 데이터 도메인(메시인 경우)에는 Azure Key Vault가 있습니다. 암호화 키, 비밀 및 인증서 파생이 환경의 요구 사항을 충족하는지 확인합니다. 이렇게 하면 관리 업무를 더 잘 분리할 수 있으며 서로 다른 분류의 키, 통합 및 비밀을 혼합할 위험이 줄어듭니다.
데이터 애플리케이션(원본 정렬)과 관련된 모든 키는 Azure Key Vault에 포함되어야 합니다.
중요
데이터 애플리케이션(원본 정렬) 키 자격 증명 모음은 최소 권한 모델을 따라야 하며, 환경 간에 트랜잭션 확장 제한과 비밀 공유를 모두 피해야 합니다.
Azure 데이터 팩터리
Azure Data Factory를 배포하여 데이터 애플리케이션 팀이 작성한 파이프라인이 개발된 파이프라인을 사용하여 데이터를 원시에서 보강으로 가져올 수 있도록 합니다. 변환에 매핑 데이터 흐름을 사용하고 복잡한 변환을 위해 Azure Databricks(수집) 작업 영역 또는 Azure Synapse Spark를 사용합니다.
데이터 애플리케이션(원본 정렬) 리포지토리의 DevOps 인스턴스에 Azure Data Factory를 연결해야 합니다. 이 연결을 통해 CI/CD를 배포할 수 있습니다.
Event Hubs
데이터 애플리케이션(원본 정렬)에 데이터를 스트리밍해야 하는 요구 사항이 있는 경우 데이터 애플리케이션(원본 정렬) 리소스 그룹에 다운스트림 Event Hubs를 배포할 수 있습니다.