OneLake 단축어 및 미러링으로 데이터를 통합하기

OneLake 는 클라우드, 도메인, 계정 전반에 걸쳐 데이터를 한 뷰로 볼 수 있게 해줍니다. OneLake에서 데이터를 통합한다고 해서 그 모든 데이터를 한곳에 저장해야 하는 것은 아닙니다. 데이터는 원본에 머무를 수도 있고, OneLake에 복제되어 Fabric 워크로드가 공유 네임스페이스를 통해 접근할 수 있습니다.

단축키와 미러링은 데이터 이동 파이프라인을 구축하고 운영하지 않고도 이 통합 뷰를 생성할 수 있는 OneLake의 보완적인 기능입니다. 단축어는 선택한 데이터를 OneLake 네임스페이스에 추가합니다. 미러링은 외부 데이터베이스나 카탈로그를 추가하여 그 데이터를 현장에서 접근할 수 있는지, 복제해야 하는지 결정합니다. 이 글에서는 각 능력이 어떻게 작동하는지, 언제 사용해야 하는지 설명합니다. Fabric에서 데이터를 수집, 변환 또는 이동하는 더 넓은 방법에 대해서는 'Microsoft Fabric에 데이터를 가져오거나 데이터 이동 전략을 선택하기'를 참조하세요.

지름길과 미러링은 한눈에 볼 수 있습니다

단축키와 미러링은 서로 다른 수준의 세분화와 서로 다른 소스 형식을 지원합니다.

Capability 용도 소스 포맷 일반적인 시나리오
바로 가기 OneLake 또는 외부 저장소에서 선택한 테이블, 폴더 또는 파일에 대한 참조를 추가하세요. 데이터는 원본에 머무르고, 오픈 포맷만 단일 테이블, 폴더, 스키마를 레이크하우스에 가져오거나, 작업 공간이나 테넌트 간에 데이터 메시 패턴을 활성화할 수 있습니다.
미러링 Fabric에 외부 데이터베이스나 카탈로그를 추가하세요. 출처에 따라 미러링은 해당 데이터를 현장에서 접근하거나 OneLake에 지속적으로 복제합니다. 오픈 및 독점 포맷 Snowflake, Azure Databricks, Azure SQL Database 같은 전체 외부 데이터베이스나 카탈로그를 도입하세요.

소스가 독점 형식으로 데이터를 저장한다면, 미러링이 유일한 선택입니다.

단축키를 사용할 때

특정 데이터를 복사하지 않고 통합된 OneLake 보기에 포함하려면 바로가기를 사용하세요. 다음과 같은 경우 단축키를 선택하세요:

  • 하나의 테이블, 폴더, 또는 파일을 작업 공간이나 테넌트 간에 공유하세요.
  • 여러 호수나 클라우드 계정의 데이터를 하나의 통합 뷰로 통합하세요.
  • 각 도메인이 자신의 데이터를 소유하고 다른 도메인들이 OneLake를 통해 데이터를 발견하는 데이터 메시 패턴을 구축하세요.
  • Delta나 Iceberg와 같은 오픈 포맷의 데이터를 Azure Data Lake Storage, Amazon S3, Google Cloud Storage, Dataverse에서 제공하세요.

단축키는 테이블, 폴더, 파일 단위에서 작동합니다. 어떤 데이터를 공개할지, 그리고 OneLake 어디에 표시할지 결정합니다. 자세한 정보는 OneLake 바로 가기를 확인해 주세요.

데이터를 통합하면서 변환하세요

바로가기 변환은 바로가기 뒤의 데이터를 소스와 동기화된 쿼리 가능한 델타 테이블로 변환하며, ETL 파이프라인을 구축하지 않습니다. 이를 사용하여 데이터를 분석할 수 있도록 준비하세요:

  • 파일 변환은 CSV, Parquet, JSON, Excel과 같은 구조화된 파일을 델타 테이블로 변환합니다. 자세한 내용은 Shortcut transformations (file)를 참조하세요.
  • AI 기반 변환 은 파일에 언어 처리 .txt 를 적용하여 내용을 요약하고, 감정을 감지하며, 언어를 번역하고, 개인 식별 정보(PII) 편집하거나, 이름 붙인 개체를 추출합니다. 자세한 내용은 바로 가기 변환(AI 기반)을 참조하세요.

미러링 사용 시기

외부 데이터베이스나 카탈로그와 그 뒤에 있는 데이터를 Fabric 단위로 포함하고 싶을 때는 미러링을 사용하세요. 미러링은 다음과 같은 상황에서 올바른 선택입니다:

  • 별도의 인제스 프로세스를 설계하지 않고도 전체 외부 데이터베이스나 카탈로그를 Fabric에서 제공하세요.
  • Azure SQL Database, PostgreSQL, Cosmos DB와 같은 운영 데이터베이스의 분석 준비가 된 복사본을 OneLake에 보관하여 소스와 동기화되도록 하세요.
  • Fabric에서 외부 레이크하우스 또는 데이터 웨어하우스(예: Databricks Unity Catalog 또는 Snowflake)를 표시하여 Fabric 데이터와 함께 쿼리할 수 있습니다.

미러링은 항상 데이터베이스, 스키마, 테이블과 같은 카탈로그 메타데이터를 Fabric에 추가합니다. Fabric이 데이터에 접근하는 방식은 다음 절에서 설명하듯이 출처에 따라 다릅니다.

미러링이 OneLake에서 데이터를 제공하는 방법

미러링은 통합 OneLake 뷰에 외부 데이터를 포함시키기 위해 두 가지 기본 메커니즘을 사용합니다. 적절한 조합은 소스가 데이터를 어떻게 저장하는지에 따라 달라집니다.

  • 복제. 미러링은 소스에서 데이터를 분석용 델타 형식으로 OneLake로 복사합니다. 미러링은 소스가 데이터를 독점 형식으로 저장할 때 복제를 사용합니다.
  • 바로 가기. 미러링은 OneLake 단축키를 통해 데이터를 제자리에 참조합니다. 미러링은 소스가 OneLake가 직접 읽을 수 있는 오픈 형식으로 데이터를 저장할 때 단축키를 사용합니다.

다음 표에서 보듯이, 다양한 출처가 이러한 메커니즘을 다르게 사용합니다.

원본 패턴 예시 미러링의 기능
데이터베이스 미러링(복제) Azure Cosmos DB, Azure Database for PostgreSQL, Azure Database for MySQL(미리 보기), Azure SQL Database, SQL Server, Oracle, SAP 미러링은 카탈로그 메타데이터를 복사하고 데이터를 Delta 테이블로 OneLake에 지속적으로 복제합니다.
메타데이터 미러링(단축키) Azure Databricks, Snowflake, Dremio (preview) 미러링은 카탈로그 메타데이터를 Fabric에 추가하고, 지름길을 통해 해당 데이터에 접근할 수 있습니다.

모든 경우에 미러링은 카탈로그 메타데이터를 Fabric에 추가합니다. 데이터를 복사할지는 출처에 따라 다릅니다.

단축키와 미러링을 함께 사용하세요

단축키와 미러링은 서로 배타적이지 않습니다. 여러 상황에서 함께 사용할 수 있습니다. 예를 들어, 미러링을 사용해 소스 시스템을 Fabric에 한 번 추가한 후, 그 시스템에서 선택한 데이터를 작업 공간, 도메인, 테넌트 간에 사용할 수 있도록 단축키를 만드는 것입니다. 미러링이 원본 데이터를 OneLake에 복제한다면, 그 데이터에 대한 단축키는 또 다른 복사본을 생성하거나 저장 용량을 증가시키지 않습니다.

이 두 기능을 결합한 일반적인 패턴은 다음과 같습니다:

  • 한 번 미러링하고, 어디서든 활용하세요. 중앙 작업 공간은 Azure SQL Database나 Snowflake 계정과 같은 외부 데이터베이스나 카탈로그를 미러링합니다. 같은 테넌트 내의 다른 작업 공간들은 같은 소스를 다시 미러링하는 대신 미러로 연결된 테이블로 가는 단축키가 있습니다. 하나의 미러링된 항목이 원본을 나타내며, 모든 소비자는 동일한 최신 데이터를 읽습니다.
  • 메시 소비를 이용한 도메인 미러링. 도메인 팀은 자체 소스 시스템을 도메인 작업 공간에 미러링합니다. 소비자 작업 공간의 하류 호숫가와 창고는 미러링 데이터베이스에서 필요한 테이블에만 접근하는 지름길을 사용합니다. 각 도메인은 소스와의 연결을 소유하며, 소비자는 소스 시스템과 분리된 상태를 유지합니다.
  • 호숫가 집 하나, 여러 데이터 위치. 단일 레이크하우스에는 미러 테이블로 가는 단축키와 함께 Azure Data Lake Storage, Amazon S3 또는 다른 OneLake 위치의 오픈 포맷 데이터로 가는 단축키가 포함될 수 있습니다. 보고서와 노트북은 레이크하우스를 하나의 통합 저장소로 조회하며, 기본 데이터가 소스에 남아 있는지, 아니면 OneLake에 복제되는지에 따라 다릅니다.
  • 크로스 테넌트 또는 크로스 클라우드 접근. 한 임차인은 소스를 자신의 OneLake로 미러링합니다. 파트너 테넌트는 소스 시스템에 직접 접근하는 대신 미러된 데이터에 대한 지름길을 만듭니다. 소스 시스템의 자격 증명은 프로덕션 테넌트를 절대 벗어나지 않습니다.

두 제품을 결합할 때 알아야 할 몇 가지 사항:

  • 미러드 테이블로 가는 지름길은 미러드 아이템의 보안 모델을 계승합니다. 미러된 데이터베이스, 스키마, 테이블에 대한 권한은 바로가기를 읽는 누구에게나 전달됩니다. 자세한 내용은 OneLake 바로 가기 보안을 참조하세요.
  • 미러드 테이블로 가는 단축키는 읽기 전용입니다. 데이터를 변경하려면 소스 시스템을 변경하고 미러링이 업데이트를 전파하도록 하세요.
  • 미러된 소스가 일시정지되었거나, 삭제되었거나, 복제 오류가 발생하면, 이를 가리키는 모든 단축키는 동일한 상태를 보여줍니다. 그에 맞게 미러링 아이템의 소유권과 모니터링을 계획하세요.

데이터 이동을 대신 사용할 때는

단축키와 미러링은 OneLake를 통해 데이터를 통합하고, 단축키 변환을 통해 데이터를 분석용 델타 테이블로 변환할 수 있습니다. 이들은 Fabric의 전체 인제스트 및 데이터 이동 도구를 대체할 수 있는 것이 아닙니다. 필요할 때 파이프라인, 데이터 흐름, 복사 작업, 이벤트 스트림을 선택하세요:

  • 복잡하거나 다중 소스의 변환 논리(예: 소스 조인, 비즈니스 규칙 적용, 스키마 재구성 등)를 적용하여 단축키 변환을 넘어서는 작업을 하세요.
  • 스스로 움직임을 스케일링하거나, 조율하거나, 트리거로 진행하세요.
  • OneLake 외부의 목적지로 데이터를 이동하세요.
  • 실시간 처리를 위해 이벤트를 Fabric으로 스트리밍하세요.

이러한 시나리오는 OneLake 통합만으로는 안 되는 Fabric의 데이터 이동 및 통합 도구가 필요합니다.

관련 콘텐츠

  • Last updated on