Microsoft Fabric에서 데이터 웨어하우징이란 무엇인가요?
적용 대상:Microsoft Fabric의 ✅ SQL 분석 엔드포인트 및 웨어하우스
Microsoft Fabric은 Microsoft Fabric 내의 차세대 데이터 웨어하우징 솔루션입니다.
레이크 중심 웨어하우스는 엔터프라이즈급 분산 처리 엔진을 기반으로 구축되어 대규모로 업계를 선도하는 성능을 제공하는 동시에 구성 및 관리의 필요성을 최소화합니다. 데이터 레이크에 위치하며 기본적으로 개방형 데이터 형식을 지원하도록 설계된 Fabric Data Warehouse는 보안 또는 거버넌스를 손상시키지 않고도 데이터 엔지니어와 비즈니스 사용자 간의 원활한 협업을 가능하게 합니다.
사용하기 쉬운 SaaS 환경은 Power BI와 긴밀하게 통합되어 쉽게 분석 및 보고할 수 있으며, 데이터 레이크 및 웨어하우스의 세계를 융합하고 분석 자산에 대한 조직의 투자를 크게 간소화합니다.
Data Warehouse 고객은 다음과 같은 이점을 누릴 수 있습니다.
- Delta-parquet 형식으로 저장된 데이터는 ACID 트랜잭션 및 다른 Fabric 워크로드와의 상호 운용성을 지원하므로 여러 데이터 복사본이 필요하지 않습니다.
- 데이터베이스 간 쿼리는 여러 데이터 원본을 사용하여 데이터 중복 없이 빠르게 인사이트를 얻을 수 있습니다.
- 파이프라인, 데이터 흐름, 데이터베이스 간 쿼리 또는 COPY INTO 명령을 통해 대규모로 데이터를 쉽게 수집, 로드 및 변환할 수 있습니다.
- 업계를 선도하는 분산 쿼리 처리 엔진을 통한 자율 워크로드 관리는 동급 최고의 성능을 달성하는 데 별도로 조정할 필요가 없습니다.
- 비즈니스 요구를 충족하기 위해 거의 즉각적으로 확장할 수 있습니다. 스토리지와 컴퓨팅은 분리되어 있습니다.
- Direct Lake 모드에서 Power BI와 통합되어 쉽게 사용할 수 있고 항상 연결된 의미 체계 모델을 통해 인사이트를 얻는 시간을 단축합니다. 보고서에는 항상 분석 및 보고를 위한 최신 데이터가 있습니다.
- 시민 개발자부터 DBA 또는 데이터 엔지니어에 이르기까지 모든 기술 수준에 맞게 빌드되었습니다.
데이터 웨어하우징 시스템
Fabric 웨어하우스는 기존의 엔터프라이즈 Data Warehouse가 아니며, Fabric Data Warehouse와 SQL 분석 엔드포인트라는 두 가지 별도의 웨어하우징 항목을 지원하는 레이크 웨어하우스입니다. 두 제품 모두 고객의 비즈니스 요구 사항을 충족하기 위해 특별히 제작되었으며, 동급 최고의 성능을 제공하고 비용을 최소화하며 관리 오버헤드를 줄여줍니다.
Synapse Data Warehouse
Microsoft Fabric 작업 영역에서 Synapse Data Warehouse 또는 웨어하우스는 형식 열에서 '웨어하우스'로 레이블이 지정됩니다. Data Warehouse의 모등 기능과 트랜잭션 기능(DDL 및 DML 쿼리 지원)이 필요한 경우 이 솔루션이 빠르고 간단한 솔루션입니다.
웨어하우스는 COPY INTO, 파이프라인, 데이터 흐름과 같은 지원되는 데이터 수집 방법 또는 CREATE TABLE AS SELECT (CTAS), INSERT..SELECT, SELECT INTO와 같은 데이터베이스 간 수집 옵션 중 하나를 사용하여 채울 수 있습니다.
웨어하우스를 시작하려면 다음을 참조하세요.
- Microsoft Fabric에서 웨어하우스 만들기
레이크하우스에 대한 SQL 분석 엔드포인트.
Microsoft Fabric 작업 영역에서 각 레이크하우스에는 자동 생성된 ‘SQL 분석 엔드포인트’가 있으며, 이를 사용하여 레이크하우스의 ‘레이크’ 보기(데이터 엔지니어링 및 Apache Spark를 지원)에서 동일한 레이크하우스의 ‘SQL’ 보기로 전환하여 보기, 기능, 저장 프로시저를 생성하고 SQL 보안을 적용할 수 있습니다.
레이크하우스의 SQL 분석 엔드포인트를 사용하면 T-SQL 명령은 데이터 개체를 정의하고 쿼리할 수 있지만 데이터를 조작하거나 수정할 수는 없습니다. SQL 분석 엔드포인트에서 다음 작업을 수행할 수 있습니다.
- Lake의 Delta Lake 폴더에서 데이터를 참조하는 테이블을 쿼리합니다.
- 뷰, 인라인 TVF(테이블 반환 함수) 및 프로시저를 만들어 T-SQL에서 의미 체계 및 비즈니스 논리를 캡슐화합니다.
- 개체 사용 권한을 관리합니다.
SQL 분석 엔드포인트를 시작하려면 다음을 참조하세요.
- 함께 사용하면 더 효율적 - Microsoft Fabric의 레이크하우스와 웨어하우스
- SQL 분석 엔드포인트 성능 고려 사항
- Microsoft Fabric에서 SQL 분석 엔드포인트 또는 웨어하우스 쿼리
웨어하우스 또는 레이크하우스
웨어하우스와 레이크하우스 중 어느 것을 사용할지 결정할 때는 데이터 관리 및 분석 요구 사항의 특정 요구 사항과 컨텍스트를 고려하는 것이 중요합니다. 마찬가지로 중요한 것은 이것이 일방적인 결정이 아니라는 점입니다!
비즈니스가 변경되어야 하는 경우 나중에 하나 또는 다른 항목을 추가할 수 있으며, 시작하는 위치에 관계없이 웨어하우스와 레이크하우스는 모두 모든 T-SQL 쿼리에 대해 동일한 강력한 SQL 엔진을 사용합니다.
결정을 내리는 데 도움이 되는 몇 가지 일반적인 지침은 다음과 같습니다.
개방형 표준 형식, 조작 없는 성능, 최소한의 설정을 갖춘 엔터프라이즈 규모 솔루션이 필요한 경우 Data Warehouse를 선택합니다. 반구조적이고 구조화된 데이터 형식에 가장 적합한 Data Warehouse는 초보자와 숙련된 데이터 전문가 모두에게 적합하며 간단하고 직관적인 환경을 제공합니다.
다양한 유형의 원본에서 나온 고도로 비정형적인 데이터의 대규모 리포지토리가 필요하고 저렴한 개체 스토리지를 활용하고 SPARK를 기본 개발 도구로 사용하려는 경우 레이크하우스를 선택합니다. '가벼운' Data Warehouse 역할을 하므로 항상 SQL 엔드포인트 및 T-SQL 도구를 사용하여 레이크하우스에서 보고 및 데이터 인텔리전스 시나리오를 제공할 수 있습니다.
자세한 의사 결정 지침은 Microsoft Fabric 의사 결정 가이드: 웨어하우스와 레이크하우스 중에서 선택합니다.