探索 Microsoft Fabric Lakehouse

已完成

Lakehouse 會以資料庫的形式呈現,並且使用 Delta 格式資料表建置在資料湖上端。 Lakehouses 結合了關聯式資料倉儲的 SQL 式分析功能,以及資料湖的彈性和可擴縮性。 Lakehouses 可儲存所有資料格式,並可搭配各種分析工具和程式設計語言使用。 作為雲端式解決方案,Lakehouses 可自動調整規模,並提供高可用性和災害復原。

Lakehouses 圖表,顯示資料湖的資料夾結構,已及資料倉儲的關聯式功能。

Lakehouse 的一些優點包括:

  • Lakehouses 使用 Spark 和 SQL 引擎來處理大規模的資料,並支援機器學習或預測模型分析。
  • Lakehouse 資料是以讀取結構格式所組織,這表示您可視需要定義結構,而不是具有預先定義的結構。
  • Lakehouses 透過 Delta Lake 格式化資料表支援 ACID (原子性、一致性、隔離、持久性) 交易,以達成資料一致性和完整性。
  • Lakehouse 為單一位置,可供資料工程師、資料科學家和資料分析師存取和使用資料。

如果您想要可調整的分析解決方案來維護資料一致性,Lakehouse 是絕佳的選擇。 請務必評估您的特定需求,以判斷哪一個解決方案最適合。

Microsoft Fabric Lakehouses

在 Microsoft Fabric 中,您可以在任何進階層工作區中建立 Lakehouse。 建立 Lakehouse 之後,您可以從各種來源載入任何通用格式的資料:包括本機檔案、資料庫或 API。 資料擷取也可以使用 Microsoft Fabric 中的 Data Factory 管線或 Dataflows (Gen2) 加以自動化。 此外,您可以建立外部來來源資料的網狀架構捷徑,例如 Azure Data Lake Store Gen2 或 Lakehouse 本身儲存體外部的 Microsoft OneLake 位置。 Lakehouse 總管可讓您瀏覽檔案、資料夾、捷徑和資料表;並在網狀架構平台中檢視其內容。

將資料內嵌到 Lakehouse 之後,您可以使用 Notebooks 或 Dataflows (Gen2) 來探索和轉換資料。

注意

Dataflows (Gen2) 以 Power Query 為基礎,是使用 Excel 或 Power BI 的資料分析師熟悉的工具,可提供轉換的視覺標記法,作為傳統程式設計的替代方案。

Data Factory 管線可用來協調 Spark、Dataflow 和其他活動;可讓您實作複雜的資料轉換程序。

轉換資料之後,您可以使用 SQL 查詢資料、用它來定型機器學習模型、執行即時智慧,或在 Power BI 中製作報表。

您也可以將資料控管原則套用至您的 Lakehouse,例如資料分類和存取控制。