Microsoft Fabric의 데이터 웨어하우징이란?

  • 아티클

적용 대상: Microsoft Fabric의 SQL 분석 엔드포인트 및 웨어하우스

Microsoft Fabric은 레이크 중심적이고 개방적인 완전한 SaaS 통합 데이터, 분석 및 AI 플랫폼을 제공하여 데이터 자산의 모든 측면을 해결하는 통합 제품을 고객에게 제공합니다. Microsoft Fabric의 기초를 통해 초보자는 노련한 전문가를 통해 Microsoft OneLake와 함께 풍부하고 사용하기 쉬운 공유 SaaS 환경을 통해 데이터베이스, 분석, 메시징, 데이터 통합 및 비즈니스 인텔리전스 워크로드를 활용할 수 있습니다.

모든 기술 수준에 맞게 빌드된 레이크 중심 SaaS 환경

Microsoft Fabric은 엔터프라이즈급 분산 처리 엔진을 기반으로 구축된 레이크 중심 데이터 웨어하우스를 도입하여 업계 최고의 성능을 제공하는 동시에 구성 및 관리의 필요성을 제거합니다. 간편한 분석 및 보고를 위해 Power BI와 긴밀하게 통합된 사용하기 쉬운 SaaS 환경을 통해 Microsoft Fabric의 Warehouse는 분석 자산에 대한 조직의 투자를 크게 간소화하기 위해 데이터 레이크 및 웨어하우스의 세계를 수렴합니다. 데이터 웨어하우징 워크로드는 개방형 데이터 형식을 통해 SQL 엔진의 풍부한 기능을 활용하므로 고객은 Microsoft OneLake에 저장된 데이터의 단일 복사본에 대한 데이터 준비, 분석 및 보고에 집중할 수 있습니다.

웨어하우스는 시민 개발자부터 전문 개발자, DBA 또는 데이터 엔지니어에 이르기까지 모든 기술 수준을 위해 빌드됩니다. Microsoft Fabric 작업 영역에 기본 제공되는 풍부한 환경 집합을 통해 고객은 DirectLake 모드에서 Power BI와 통합되는 항상 연결된 간편한 의미 체계 모델을 통해 인사이트에 대한 시간을 줄일 수 있습니다. 이를 통해 고객의 보고서에 항상 분석 및 보고를 위한 최신 데이터가 있는지 확인하는 업계 최고의 두 번째 성능을 제공할 수 있습니다. 데이터베이스 간 쿼리를 활용하여 여러 데이터베이스에 걸쳐 있는 여러 데이터 원본을 빠르고 원활하게 사용하여 신속한 인사이트와 데이터 중복을 방지할 수 있습니다.

데이터베이스 간 쿼리를 사용하는 가상 웨어하우스

Microsoft Fabric은 고객에게 바로 가기를 사용하여 거의 모든 원본의 데이터가 포함된 가상 웨어하우스를 일어서는 기능을 제공합니다. 고객은 어디에 있든 데이터에 대한 바로 가기를 만들어 가상 웨어하우스를 빌드할 수 있습니다. 가상 웨어하우스는 단일 경계 내에서 데이터 중복 없이 OneLake, Azure Data Lake Storage 또는 다른 클라우드 공급업체 스토리지의 데이터로 구성됩니다.

Microsoft Fabric에서 다양한 데이터베이스 간 쿼리를 통해 다양한 데이터 원본의 가치를 원활하게 잠금 해제합니다. 데이터베이스 간 쿼리를 사용하면 고객이 빠른 인사이트와 데이터 중복 없이 여러 데이터 원본을 빠르고 원활하게 사용할 수 있습니다. 여러 원본에 저장된 데이터를 쉽게 조인할 수 있으므로 고객은 이전에 데이터 통합 및 엔지니어링 팀의 상당한 노력이 필요했던 풍부한 인사이트를 제공할 수 있습니다.

여러 테이블에 대한 인사이트에 대한 코드 없는 경로를 제공하는 Visual Query 편집기를 통해 데이터베이스 간 쿼리를 만들 수 있습니다. SQL 쿼리 편집기 또는 SSMS(SQL Server Management Studio)와 같은 기타 친숙한 도구를 사용하여 데이터베이스 간 쿼리를 만들 수도 있습니다.

자율 워크로드 관리

Microsoft Fabric의 웨어하우스는 고객에게 자연스러운 격리 경계가 있는 워크로드를 제공하는 업계 최고의 분산 쿼리 처리 엔진을 활용합니다. 자동 크기 조정 및 동시성이 내장된 품종 성능을 최상으로 제공하기 위해 리소스의 자율 할당 및 포기로 전환할 노브가 없습니다. ETL 작업이 임시 분석 및 보고 워크로드를 방해하지 않도록 다양한 특성으로 워크로드를 분리하여 진정한 격리를 달성합니다.

원활한 엔진 상호 운용성을 위한 개방형 형식

웨어하우스의 데이터는 parquet 파일 형식으로 저장되고 Delta Lake Logs로 게시되므로 SPARK, Pipelines, Power BI 및 Azure Data Explorer와 같은 다른 Microsoft Fabric 워크로드를 통해 활용할 수 있는 ACID 트랜잭션 및 엔진 간 상호 운용성을 사용할 수 있습니다. 고객은 더 이상 서로 다른 기술 집합을 가진 데이터 전문가를 사용할 수 있도록 데이터의 여러 복사본을 만들 필요가 없습니다. Python에서 작업하는 데 익숙한 데이터 엔지니어는 SQL에서 작업하는 데 익숙한 데이터 웨어하우스 전문가가 모델링하고 제공한 것과 동일한 데이터를 쉽게 사용할 수 있습니다. 동시에 BI 전문가는 동일한 데이터를 빠르고 쉽게 사용하여 기록 성능과 데이터 중복 없이 Power BI에서 다양한 시각화 집합을 만들 수 있습니다.

스토리지 및 컴퓨팅 분리

컴퓨팅 및 스토리지는 웨어하우스에서 분리되어 고객이 비즈니스 요구 사항을 충족하기 위해 거의 즉시 확장할 수 있습니다. 이렇게 하면 강력한 보안 및 완전한 ACID 트랜잭션 보장을 통해 여러 컴퓨팅 엔진이 지원되는 모든 스토리지 원본에서 읽을 수 있습니다.

대규모로 쉽게 수집, 로드 및 변환

파이프라인, 데이터 흐름, 데이터베이스 간 쿼리 또는 COPY INTO 명령을 통해 데이터를 웨어하우스로 수집할 수 있습니다. 수집되면 공유 및 데이터베이스 간 쿼리와 같은 기능을 통해 여러 비즈니스 그룹에서 데이터를 분석할 수 있습니다. 웨어하우스 편집기 내에서 쿼리에 사용하기 쉬운 그래픽 데이터 모델링을 통해 완전히 통합된 BI 환경을 통해 인사이트에 대한 시간을 신속하게 파악할 수 있습니다.

Microsoft Fabric의 데이터 웨어하우징 항목

레이크하우스의 SQL 분석 엔드포인트와 웨어하우스의 두 가지 고유한 데이터 웨어하우징 항목이 있습니다.

Lakehouse의 SQL 분석 엔드포인트

SQL 분석 엔드포인트는 Microsoft Fabric의 Lakehouse에서 자동으로 생성되는 웨어하우스 입니다. 고객은 레이크하우스의 "Lake" 보기(데이터 엔지니어링 및 Apache Spark 지원)에서 동일한 Lakehouse의 "SQL" 보기로 전환할 수 있습니다. SQL 분석 엔드포인트는 읽기 전용이며 Spark를 사용하여 Lakehouse의 "Lake" 보기를 통해서만 데이터를 수정할 수 있습니다.

Lakehouse의 SQL 분석 엔드포인트를 통해 사용자에게는 데이터 개체를 정의하고 쿼리할 수 있지만 데이터를 조작할 수 없는 SQL 명령의 하위 집합이 있습니다. SQL 분석 엔드포인트에서 다음 작업을 수행할 수 있습니다.

  • Lake의 Delta Lake 폴더에서 데이터를 참조하는 테이블을 쿼리합니다.
  • T-SQL에서 의미 체계 및 비즈니스 논리를 캡슐화하는 뷰, 인라인 TVF 및 프로시저를 만듭니다.
  • 개체에 대한 사용 권한을 관리합니다.

Microsoft Fabric 작업 영역에서 SQL 분석 엔드포인트는 형식 열 아래에 "SQL 분석 엔드포인트"라는 레이블이 지정됩니다. 각 Lakehouse에는 SQL Server Management Studio, Azure Data Studio, Microsoft Fabric SQL 쿼리 편집기 같은 친숙한 SQL 도구를 통해 활용할 수 있는 자동 생성된 SQL 분석 엔드포인트가 있습니다.

작업 영역의 SQL 분석 엔드포인트 유형을 보여 주는 스크린샷

SQL 분석 엔드포인트를 시작하려면 Microsoft Fabric의 레이크하우스 및 웨어하우스를 함께 확인하세요.

Synapse 데이터 웨어하우스

Microsoft Fabric 작업 영역에서 Synapse Data Warehouse 또는 Warehouse는 형식 열 아래에 'Warehouse'로 레이블이 지정됩니다. 웨어하우스는 트랜잭션, DDL 및 DML 쿼리를 지원합니다.

작업 영역의 웨어하우스 유형을 보여 주는 스크린샷

읽기 전용 쿼리 및 뷰 및 TVF 만들기만 지원하는 SQL 분석 엔드포인트와 달리 웨어하우스는 전체 트랜잭션 DDL 및 DML 지원을 하며 고객이 만듭니다. 웨어하우스는 COPY INTO, 파이프라인, 데이터 흐름 또는 CTAS(CREATE TABLE AS SELECT), INSERT와 같은 데이터베이스 간 수집 옵션과 같은 지원되는 데이터 수집 방법 중 하나로 채워집니다. SELECT 또는 SELECT INTO.

웨어하우스를 시작하려면 Microsoft Fabric에서 웨어하우스 만들기를 참조 하세요.

Lakehouse의 웨어하우스 및 SQL 분석 엔드포인트 비교

이 섹션에서는 Microsoft Fabric의 웨어하우스와 SQL 분석 엔드포인트 간의 차이점을 설명합니다.

SQL 분석 엔드포인트 및 웨어하우스를 포함하여 데이터 웨어하우징을 위한 패브릭 작업 영역의 다이어그램.

SQL 분석 엔드포인트는 Microsoft Fabric의 Lakehouse에서 만들 때 자동으로 생성되는 읽기 전용 웨어하우스입니다. Lakehouse에서 Spark를 통해 만든 델타 테이블은 SQL 분석 엔드포인트에서 테이블로 자동으로 검색할 수 있습니다. SQL 분석 엔드포인트를 사용하면 데이터 엔지니어가 Lakehouse의 물리적 데이터 위에 관계형 계층을 빌드하고 SQL 연결 문자열 사용하여 분석 및 보고 도구에 노출할 수 있습니다. 그런 다음 데이터 분석가는 T-SQL을 사용하여 Synapse Data Warehouse를 사용하여 Lakehouse 데이터에 액세스할 수 있습니다. SQL 분석 엔드포인트를 사용하여 BI 요구 사항 및 데이터 제공을 위해 웨어하우스를 디자인합니다.

Synapse Data Warehouse 또는 Warehouse는 '기존' 데이터 웨어하우스이며 엔터프라이즈 데이터 웨어하우스와 같은 전체 트랜잭션 T-SQL 기능을 지원합니다. 테이블과 데이터가 자동으로 만들어지는 SQL 분석 엔드포인트와는 달리 Microsoft Fabric 포털 또는 T-SQL 명령을 사용하여 데이터 웨어하우스에서 데이터를 만들고, 로드하고, 변환하고, 쿼리할 수 있습니다.

Microsoft Fabric에서 데이터를 쿼리하는 방법에 대한 자세한 내용은 Microsoft Fabric의 SQL 분석 엔드포인트 또는 웨어하우스 쿼리를 참조하세요.

다양한 웨어하우징 기능 비교

분석 사용 사례를 가장 잘 제공하기 위해 다양한 기능을 사용할 수 있습니다. 일반적으로 웨어하우스는 T-SQL을 제공하는 다른 모든 분석 제품 간에 시너지 효과를 주는 다른 모든 기능의 상위 집합으로 간주될 수 있습니다.

패브릭 내에는 웨어하우스, Lakehouse 및 Power BI 데이터마트 중에서 결정해야 할 수 있는 사용자가 있습니다.

Microsoft Fabric 제품

창고

Lakehouse의 SQL 분석 엔드포인트

Power BI 데이터마트

라이선싱

Fabric 또는 Power BI Premium

Fabric 또는 Power BI Premium

Power BI Premium 전용

기본 기능

ACID 규격, T-SQL에서 트랜잭션 지원을 사용하는 전체 데이터 웨어하우징.

읽기 전용으로, T-SQL 쿼리 및 서비스용 Lakehouse에 대한 시스템 생성 SQL 분석 엔드포인트입니다. Lakehouse Delta 테이블 및 바로 가기를 통해 참조되는 Delta Lake 폴더에 대한 분석을 지원합니다.

코드 없는 데이터 웨어하우징 및 T-SQL 쿼리

개발자 프로필

SQL 개발자 또는 시민 개발자

데이터 엔지니어 또는 SQL 개발자

시민 개발자 전용

권장 사용 사례

  • 엔터프라이즈용 데이터 웨어하우징
  • 부서, 사업부 또는 셀프 서비스 사용을 지원하는 데이터 웨어하우징
  • 테이블, 뷰, 프로시저 및 함수 및 BI에 대한 고급 SQL 지원을 사용하여 T-SQL의 구조화된 데이터 분석
  • 소규모 부서 또는 사업부 웨어하우징 사용 사례
  • 셀프 서비스 데이터 웨어하우징 사용 사례
  • Power BI 데이터 흐름에 대한 랜딩 존 및 BI에 대한 간단한 SQL 지원

개발 환경

  • T-SQL 데이터 수집, 모델링, 개발 및 데이터 수집, 모델링 및 쿼리를 위한 UI 환경 쿼리를 완전히 지원하는 웨어하우스 편집기
  • 자사 및 타사 도구에 대한 읽기/쓰기 지원
  • 뷰, 테이블 반환 함수 및 SQL 쿼리에 대한 T-SQL 지원이 제한된 Lakehouse SQL 분석 엔드포인트
  • 모델링 및 쿼리를 위한 UI 환경
  • 자사 및 타사 도구에 대한 제한된 T-SQL 지원
  • UI 환경 및 쿼리 지원을 사용하는 Datamart 편집기
  • 데이터 수집, 모델링 및 쿼리를 위한 UI 환경
  • 자사 및 타사 도구에 대한 읽기 전용 지원

T-SQL 기능

전체 DQL, DML 및 DDL T-SQL 지원, 전체 트랜잭션 지원

전체 DQL, DML 없음, SQL 보기 및 TVF와 같은 제한된 DDL T-SQL 지원

전체 DQL만

데이터 로드

SQL, 파이프라인, 데이터 흐름

Spark, 파이프라인, 데이터 흐름, 바로 가기

데이터 흐름만

델타 테이블 지원

델타 테이블을 읽고 씁니다.

델타 테이블을 읽습니다.

해당 없음

스토리지 계층

데이터 형식 열기 - 델타

데이터 형식 열기 - 델타

해당 없음

Lakehouse의 SQL 분석 엔드포인트에서 자동으로 생성된 스키마

SQL 분석 엔드포인트는 작업 영역 사용자가 수정할 수 없도록 자동으로 생성된 테이블을 관리합니다. 사용자는 고유한 SQL 스키마, 뷰, 프로시저 및 기타 데이터베이스 개체를 추가하여 데이터베이스 모델을 보강할 수 있습니다.

Lakehouse의 모든 델타 테이블에 대해 SQL 분석 엔드포인트는 자동으로 하나의 테이블을 생성합니다.

SQL 분석 엔드포인트의 테이블은 지연으로 만들어집니다. Lake에서 Delta Lake 폴더/테이블을 만들거나 업데이트하면 레이크 데이터를 참조하는 웨어하우스 테이블이 즉시 생성/새로 고쳐지지 않습니다. 변경 내용은 5-10초 후에 웨어하우스에 적용됩니다.

SQL 분석 엔드포인트에 대한 자동 생성된 스키마 데이터 형식은 Microsoft Fabric의 데이터 형식을 참조 하세요.

관련 콘텐츠