什麼是 Microsoft Fabric 中的數據倉儲？

  • 發行項

適用於： Microsoft Fabric 中的 SQL 分析端點和倉儲

Microsoft Fabric 為客戶提供統一的產品，可藉由提供完整的 SaaS 化數據、分析和 AI 平臺，以湖為中心的開放平臺，來解決其數據資產的各個層面。 Microsoft Fabric 的基礎讓新手用戶能夠透過豐富的、易於使用、與 Microsoft OneLake 共用 SaaS 體驗，運用資料庫、分析、傳訊、資料整合 和商業智慧工作負載。

專為任何技能等級打造的以湖為中心的 SaaS 體驗

Microsoft Fabric 引進以湖為中心的數據倉儲，建置在企業級分散式處理引擎上，可大規模實現領先業界的效能，同時不需要設定和管理。 透過與 Power BI 緊密整合的輕鬆使用 SaaS 體驗，輕鬆分析和報告，Microsoft Fabric 中的 Warehouse 會將數據湖和倉儲的世界融合在一起，目標是大幅簡化組織對其分析資產的投資。 數據倉儲工作負載受益於 SQL 引擎透過開放式數據格式的豐富功能，讓客戶能夠專注於數據準備、分析和報告儲存在 Microsoft OneLake 中的數據單一複本。

倉儲是針對任何技能等級而建置的，從公民開發人員到專業開發人員、DBA 或數據工程師。 Microsoft Fabric 工作區內建的豐富體驗集可讓客戶透過在 DirectLake 模式中輕鬆取用且一律連線的語意模型，減少其深入解析的時間。 這可讓二無業界領先效能，確保客戶的報表一律具有最新的分析和報告數據。 您可以利用跨資料庫查詢，快速且順暢地利用跨越多個資料庫的多個數據源，以快速深入解析和零數據重複。

具有跨資料庫查詢的虛擬倉儲

Microsoft Fabric 讓客戶能夠使用快捷方式來支援包含來自幾乎任何來源數據的虛擬倉儲。 客戶可以建立虛擬倉儲，方法是建立其數據所在位置的快捷方式。 虛擬倉儲可以由 OneLake、Azure Data Lake 儲存體 或任何其他雲端廠商記憶體中的數據組成，且不會重複數據。

透過 Microsoft Fabric 中跨資料庫查詢的豐富性，順暢地解除鎖定各種數據源的價值。 跨資料庫查詢可讓客戶快速且順暢地利用多個數據源，快速深入解析，且零重複數據。 儲存在不同的來源中的數據可以輕易地聯結在一起，讓客戶提供豐富的深入解析，這些深入解析先前需要數據整合和工程小組的大量投入。

您可以透過 Visual Query 編輯器來建立跨資料庫查詢，以提供多個數據表深入解析的無程式代碼路徑。 SQL 查詢編輯器或其他熟悉的工具，例如 SQL Server Management Studio （SSMS），也可以用來建立跨資料庫查詢。

自發式工作負載管理

Microsoft Fabric 中的倉儲會利用領先業界的分散式查詢處理引擎，為客戶提供具有自然隔離界限的工作負載。 使用自主配置和放棄資源來提供最佳品種效能與內建的自動縮放和並行，則沒有任何旋律可轉彎。 真正的隔離是藉由將具有不同特性的工作負載分開來達成，確保 ETL 作業永遠不會干擾其臨機操作分析和報告工作負載。

無縫引擎互操作性的開放格式

倉儲中的數據會以 parquet 檔格式儲存，併發佈為 Delta Lake Logs，啟用 ACID 交易和跨引擎互操作性，可透過 Spark、Pipelines、Power BI 和 Azure 數據總管等其他 Microsoft Fabric 工作負載來運用。 客戶不再需要建立多個數據複本，讓具有不同技能集的數據專業人員。 習慣於在 Python 中工作的數據工程師，可以輕鬆地利用習慣於在 SQL 中工作的數據倉儲專業人員所建立及服務的相同數據。 同時，BI 專業人員可以快速且輕鬆地利用相同的數據，在Power BI 中建立一組豐富的視覺效果，其記錄效能且不會重複數據。

記憶體和計算的分離

計算和記憶體會在倉儲中分離，可讓客戶即時調整規模，以符合其業務需求。 這可讓多個計算引擎從任何支援的記憶體來源讀取，並提供強固的安全性和完整的 ACID 交易保證。

輕鬆地大規模內嵌、載入和轉換

數據可以 透過管線、數據流、跨資料庫查詢或 COPY INTO 命令擷取 至倉儲。 擷取之後，可透過共用和跨資料庫查詢等功能，由多個商務群組分析數據。 透過圖形化數據模型化，在倉儲編輯器內查詢的Web體驗中，透過完全整合的BI體驗加速深入解析。

Microsoft Fabric 中的數據倉儲專案

有兩個不同的數據倉儲專案：Lakehouse 和 Warehouse 的 SQL 分析端點。

Lakehouse 的 SQL 分析端點

SQL 分析端點是從 Microsoft Fabric 中的 Lakehouse 自動產生的倉儲。 客戶可以從 Lakehouse 的 “Lake” 檢視（支持數據工程和 Apache Spark）轉換為相同 Lakehouse 的 “SQL” 檢視。 SQL 分析端點是唯讀的，而且數據只能透過使用 Spark 的 Lakehouse “Lake” 檢視進行修改。

透過 Lakehouse 的 SQL 分析端點，使用者具有 SQL 命令的子集，可定義和查詢資料物件，但無法操作數據。 您可以在 SQL 分析端點中執行下列動作：

  • 查詢在 Lake 中參考 Delta Lake 資料夾中資料的數據表。
  • 建立檢視、內嵌TVF和程式，以在T-SQL中封裝語意和商業規則。
  • 管理物件的許可權。

在 Microsoft Fabric 工作區中，SQL 分析端點會標示為 [ 類型 ] 資料行下的 [SQL 分析端點]。 每個 Lakehouse 都有自動產生的 SQL 分析端點，可透過熟悉的 SQL 工具運用，例如 SQL Server Management Studio、Azure Data Studio、Microsoft Fabric SQL 查詢編輯器。

顯示工作區中 SQL 分析端點類型的螢幕快照。

若要開始使用 SQL 分析端點，請參閱 更好的一起：Microsoft Fabric 中的 lakehouse 和倉儲。

Synapse 資料倉儲

在 Microsoft Fabric 工作區中，Synapse 數據倉儲或倉儲會在 [類型] 資料行下標示為「倉儲」。 倉儲支援交易、DDL 和 DML 查詢。

顯示工作區中 [倉儲類型] 的螢幕快照。

不同於只支援只讀查詢和建立檢視和 TVF 的 SQL 分析端點，倉儲具有完整的交易式 DDL 和 DML 支援，並由客戶建立。 倉儲會填入其中一個支持的數據擷取方法，例如 COPY INTO、 Pipelines、 Dataflows 或跨資料庫擷取選項，例如 CREATE TABLE AS SELECT （CTAS）、 INSERT。SELECT 或 SELECT INTO。

若要開始使用倉儲，請參閱 在 Microsoft Fabric 中建立倉儲。

比較倉儲和 Lakehouse 的 SQL 分析端點

本節說明 Microsoft Fabric 中倉儲與 SQL 分析端點之間的差異。

數據倉儲的網狀架構工作區圖表，包括 SQL 分析端點和倉儲。

SQL 分析端點是唯讀的倉儲，會在從 Microsoft Fabric 中的 Lakehouse 建立時自動產生。 透過 Lakehouse 中的 Spark 所建立的差異資料表，在 SQL 分析端點中會自動探索為數據表。 SQL 分析端點可讓數據工程師在 Lakehouse 中的實體數據之上建置關係層，並使用 SQL 連接字串 將其公開至分析和報告工具。 數據分析師接著可以使用 T-SQL，使用 Synapse 數據倉儲來存取 Lakehouse 數據。 使用 SQL 分析端點來設計適用於 BI 需求和服務數據的倉儲。

Synapse 數據倉儲或倉儲是「傳統」數據倉儲，並支援完整的交易式 T-SQL 功能，例如企業數據倉儲。 相對於自動建立數據表和數據所在的 SQL 分析端點，您可以使用 Microsoft Fabric 入口網站或 T-SQL 命令完全控制 建立數據表、載入、轉換和查詢數據倉儲中的數據。

如需在 Microsoft Fabric 中查詢數據的詳細資訊，請參閱 在 Microsoft Fabric 中查詢 SQL 分析端點或倉儲。

比較不同的倉儲功能

為了最能為您的分析使用案例提供服務，有各種不同的功能可供您使用。 一般而言，倉儲可視為所有其他功能的超集，提供所有其他提供 T-SQL 之其他分析供應專案之間的協同關聯性。

在網狀架構中，有些使用者可能需要在 Warehouse、Lakehouse，甚至是 Power BI Datamart 之間做出決定。

Microsoft Fabric 供應專案

倉庫

Lakehouse 的 SQL 分析端點

Power BI datamart

授權

網狀架構或Power BI 進階版

網狀架構或Power BI 進階版

僅限 Power BI 進階版

主要功能

具有 T-SQL 中交易支援的 ACID 相容、完整數據倉儲。

只讀，系統為 Lakehouse 產生 SQL 分析端點以進行 T-SQL 查詢和服務。 支援在 Lakehouse Delta 資料表上進行分析，以及透過 快捷方式參考的 Delta Lake 資料夾。

無程式代碼數據倉儲和 T-SQL 查詢

開發人員配置檔

SQL 開發人員或公民開發人員

資料工程師 或 SQL 開發人員

僅限公民開發人員

建議的使用案例

  • 企業使用 資料倉儲
  • 資料倉儲 支援部門、業務單位或自助式使用
  • T-SQL 中具有數據表、檢視、程式和函式的結構化數據分析，以及 BI 的進階 SQL 支援
  • 探索和查詢 Lakehouse 中的差異數據表
  • 暫存數據和封存區域進行分析
  • 獎章湖屋建築 與銅牌、銀牌和金牌分析區
  • 與適用於企業分析使用案例的倉儲配對
  • 小型部門或業務單位倉儲使用案例
  • 自助數據倉儲使用案例
  • Power BI 數據流的登陸區域和 BI 的簡單 SQL 支援

開發體驗

  • 倉儲編輯器，完全支援 T-SQL 數據擷取、模型化、開發和查詢 UI 體驗，以進行數據擷取、模型化和查詢
  • 第一方和第三方工具的讀取/寫入支援
  • Lakehouse SQL 分析端點，對檢視、數據表值函式和 SQL 查詢的 T-SQL 支援有限
  • 模型化和查詢的UI體驗
  • 第一方和第三方工具的 T-SQL 支援有限
  • 具有UI體驗和查詢支援的 Datamart 編輯器
  • 數據擷取、模型化和查詢的UI體驗
  • 第一方和第三方工具的唯讀支援

T-SQL 功能

完整 DQL、DML 和 DDL T-SQL 支援、完整交易支援

完整 DQL、無 DML、有限的 DDL T-SQL 支援，例如 SQL 檢視和 TVF

僅限完整 DQL

載入資料

SQL、管線、數據流

Spark、管線、數據流、快捷方式

僅限數據流

差異數據表支援

讀取和寫入 Delta 數據表

讀取差異數據表

NA

儲存層

開啟資料格式 - Delta

開啟資料格式 - Delta

NA

在 Lakehouse 的 SQL 分析端點中自動產生架構

SQL 分析端點會管理自動產生的數據表，讓工作區使用者無法修改數據表。 用戶可以藉由新增自己的SQL架構、檢視、程式和其他資料庫物件，來擴充資料庫模型。

針對 Lakehouse 中的每個 Delta 數據表，SQL 分析端點會自動產生一個數據表。

SQL 分析端點中的數據表會延遲建立。 一旦您在 Lake 中建立或更新 Delta Lake 資料夾/資料表，參考湖數據的倉儲數據表將不會立即建立/重新整理。 變更會在 5-10 秒後套用在倉儲中。

如需 SQL 分析端點的自動產生的架構資料類型，請參閱 Microsoft Fabric 中的數據類型。

相關內容