Share via

분석 데이터 흐름에 대한 스토리지 구조는 무엇인가요?

  • 아티클

분석 데이터 흐름은 Azure Data Lake Storage에 데이터와 메타데이터를 모두 저장합니다. 데이터 흐름은 표준 구조를 활용하여 레이크에서 생성된 데이터를 저장하고 설명하며, 이를 Common Data Model 폴더라고 합니다. 이 문서에서는 데이터 흐름이 백그라운드에서 사용하는 스토리지 표준에 대해 자세히 알아봅니다.

스토리지에는 분석 데이터 흐름에 대한 구조가 필요합니다.

데이터 흐름이 표준인 경우 데이터는 Dataverse에 저장됩니다. Dataverse는 데이터베이스 시스템과 같습니다. 테이블, 뷰 등의 개념이 있습니다. Dataverse는 표준 데이터 흐름에서 사용하는 구조적 데이터 스토리지 옵션입니다.

그러나 데이터 흐름이 분석되면 데이터는 Azure Data Lake Storage에 저장됩니다. 데이터 흐름의 데이터 및 메타데이터는 Common Data Model 폴더에 저장됩니다. 스토리지 계정에 여러 데이터 흐름이 저장되어 있을 수 있으므로 데이터를 구성하는 데 도움이 되는 폴더 및 하위 폴더 계층 구조가 도입되었습니다. 데이터 흐름이 만들어진 제품에 따라 폴더와 하위 폴더는 작업 영역(또는 환경)과 데이터 흐름의 공통 데이터 모델 폴더를 나타낼 수 있습니다. Common Data Model 폴더 내에는 데이터 흐름 테이블의 스키마와 데이터가 모두 저장됩니다. 이 구조는 공통 데이터 모델에 대해 정의된 표준을 따릅니다.

분석 데이터 흐름은 공통 데이터 모델 구조에 데이터를 저장합니다.

Common Data Model 스토리지 구조란?

Common Data Model 은 여러 플랫폼에서 데이터를 사용하기 위한 적합성과 일관성을 제공하기 위해 정의된 메타데이터 구조입니다. 공통 데이터 모델은 데이터 스토리지가 아니라 데이터를 저장하고 정의하는 방식입니다.

공통 데이터 모델 폴더는 테이블의 스키마와 해당 데이터를 저장하는 방법을 정의합니다. Azure Data Lake Storage에서 데이터는 폴더로 구성됩니다. 폴더는 작업 영역 또는 환경을 나타낼 수 있습니다. 이러한 폴더 아래에는 각 데이터 흐름에 대한 하위 폴더가 만들어집니다.

작업 영역 폴더 구조입니다.

데이터 흐름 폴더에 무엇이 있나요?

각 데이터 흐름 폴더에는 각 테이블에 대한 하위 폴더와 이름이 지정된 model.json메타데이터 파일이 포함됩니다.

데이터 흐름 폴더에 무엇이 있나요?

메타데이터 파일: model.json

파일은 model.json 데이터 흐름의 메타데이터 정의입니다. 모든 데이터 흐름 메타데이터를 포함하는 하나의 파일입니다. 여기에는 각 테이블의 테이블, 열 및 해당 데이터 형식 목록, 테이블 간의 관계 등이 포함됩니다. Common Data Model 폴더 구조에 액세스할 수 없는 경우에도 데이터 흐름에서 이 파일을 쉽게 내보낼 수 있습니다.

데이터 흐름에서 model.json 파일을 내보냅니다.

이 JSON 파일을 사용하여 데이터 흐름을 다른 작업 영역 또는 환경으로 마이그레이션하거나 가져올 수 있습니다.

데이터 흐름을 다른 작업 영역 또는 환경으로 마이그레이션합니다.

model.json 메타데이터 파일에 포함된 내용을 정확히 알아보려면 Common Data Model의 메타데이터 파일(model.json)로 이동합니다.

데이터 파일

메타데이터 파일 외에도 데이터 흐름 폴더에는 다른 하위 폴더가 포함됩니다. 데이터 흐름은 테이블 이름을 가진 하위 폴더에 각 테이블의 데이터를 저장합니다. 테이블의 데이터는 CSV 형식으로 저장된 여러 데이터 파티션으로 분할될 수 있습니다.

Common Data Model 폴더를 보거나 액세스하는 방법

만든 제품에서 제공하는 스토리지를 사용하는 데이터 흐름을 사용하는 경우 해당 폴더에 직접 액세스할 수 없습니다. 이러한 경우 데이터 흐름에서 데이터를 가져오려면 Power BI 서비스, Power Apps 및 Dynamics 35 Customer Insights 제품 또는 Power BI Desktop에서 데이터 가져오기 환경에서 사용할 수 있는 Microsoft Power Platform 데이터 흐름 커넥터를 사용해야 합니다.

분석 데이터 흐름에 대한 데이터에 커넥트.

데이터 흐름 및 내부 Data Lake Storage 통합이 작동하는 방식을 알아보려면 Dataflows 및 Azure Data Lake 통합(미리 보기)으로 이동합니다.

조직에서 Data Lake Storage 계정을 활용하도록 데이터 흐름을 사용하도록 설정하고 데이터 흐름의 부하 대상으로 선택한 경우에도 위에서 멘션 Power Platform 데이터 흐름 커넥터를 사용하여 데이터 흐름에서 데이터를 가져올 수 있습니다. 하지만 Power Platform 도구 및 서비스 외부에서도 레이크를 통해 직접 데이터 흐름의 Common Data Model 폴더에 액세스할 수 있습니다. Azure Portal, Microsoft Azure Storage Explorer 또는 Azure Data Lake Storage를 지원하는 다른 서비스 또는 환경을 통해 레이크에 액세스할 수 있습니다. 추가 정보: 데이터 흐름 저장소에 Azure Data Lake Storage Gen2 연결

외부 Data Lake Storage에 커넥트.

다음 단계