分享方式:


Eventhouse OneLake 可用性

您可以開啟 OneLake 可用性,在事件屋中建立一個 KQL 資料庫數據的邏輯複本。 開啟 OneLake 可用性 表示您可以透過 Power BI、Warehouse、Lakehouse、Notebooks 等其他網狀架構引擎,以 Delta Lake 格式查詢 KQL 資料庫中的數據。

Delta Lake 是統一的 Data Lake 資料表格式,可橫跨 Microsoft Fabric 中的所有計算引擎實現順暢的資料存取。 如需 Delta Lake 的詳細資訊,請參閱什麼是 Delta Lake?

在本文中,您將瞭解如何在 OneLake 中開啟 KQL 資料庫資料的可用性。

運作方式

下表描述當您開啟或關閉 OneLake 可用性時,KQL 資料庫和資料表的行為。

已開啟 關閉
KQL 資料庫 - 現有的資料表不會受到影響。 OneLake 提供新的資料表。
- KQL 資料庫的數據保留原則也會套用至 OneLake 中的數據。 在保留期間結束時,從 KQL 資料庫移除的數據也會從 OneLake 中移除。
- 現有的資料表不會受到影響。 OneLake 中將無法使用新的資料表。
KQL 資料庫中的資料表 - OneLake 提供新的資料。
- 現有資料未回填。
- 無法刪除、截斷或清除資料。
- 資料表結構描述無法改變,而且無法重新命名資料表。
- 資料列層級安全性無法套用至數據表。
- OneLake 未提供新的資料。
- 可以刪除、截斷或清除資料。
- 資料表結構描述可以改變,而且可以重新命名資料表。
- 從 OneLake 虛刪除資料。

重要

可能需要數小時的時間,數據才會出現在 OneLake 中。 如需詳細資訊,請參閱更新行為

開啟 OneLake 可用性不需要額外的記憶體成本。 如需詳細資訊,請參閱 Synapse SQL 資源耗用量

必要條件

開啟 OneLake 可用性

您可以在 KQL 資料庫或資料表層級上開啟 OneLake 可用性

  1. 若要開啟 OneLake 可用性,請流覽至 KQL 資料庫或數據表詳細資料窗格中的 OneLake 區段。

  2. 將 [可用性] 設定[開啟]。

    [實時智慧] 中 [資料庫詳細數據] 窗格的 OneLake 區段螢幕快照,其中已醒目提示 [可用性] 選項。

  3. 資料庫會自動重新整理。

    將 [可用性] 設定為 [開啟] 后,Microsoft Fabric 中[實時智慧] 區段詳細數據的螢幕快照。開啟將數據公開至 OneLake 的選項。

您已在 KQL 資料庫中開啟 OneLake 可用性 。 您現在可以存取以 Delta Lake 格式指定 OneLake 路徑新增至資料庫的所有新數據。 您也可以選擇從 Lakehouse、數據倉儲建立 OneLake 快捷方式,或直接透過 Power BI Direct Lake 模式查詢數據。

調適型行為

Eventhouse 提供健全的機制,以智慧方式將傳入資料流批處理成一或多個 Parquet 檔案,並結構化以供分析。 處理棘手的數據時,批處理資料流很重要。 將許多小型 Parquet 檔案寫入湖中可能會沒有效率,因而產生較高的成本和效能不佳。

如果沒有足夠的數據來建立最佳的 Parquet 檔案,Eventhouse 的自適性機制可能會延遲寫入作業長達數小時。 這可確保 Parquet 檔案的大小最佳,並遵循 Delta Lake 最佳做法。 Eventhouse 調適型機制可確保 Parquet 檔案已準備好進行分析,並平衡提示數據可用性與成本和效能考慮的需求。

您可以使用 .show 資料表鏡像作業命令來檢查數據延遲,以監視湖中新增的數據多久前。

結果會從上次新增數據的時間進行測量。 當延遲產生 00:00:00 時,KQL 資料庫中的所有數據都可在 OneLake 中使用。

檢視檔案

當您 開啟資料表上的 OneLake 可用性 時,會建立差異記錄檔資料夾以及任何對應的 JSON 和 Parquet 檔案。 您可以在即時智慧中檢視 OneLake 中提供的檔案及其屬性。

  • 若要檢視檔案,請將滑鼠停留在 [總 管] 窗格中的資料表上,然後選取 [ 更多] 功能表單 [...]>檢視檔案

    [總管] 窗格的螢幕擷取畫面,其中顯示資料表的 [更多] 功能表下拉式清單。

  • 若要檢視差異記錄檔資料夾或個別檔案的屬性,請將滑鼠停留在資料夾或檔案上,然後選取 [ 更多] 功能表 [...]>屬性

  • 若要檢視差異記錄檔資料夾中的檔案:

    1. 選取_delta_log資料夾。
    2. 選取檔案以檢視資料表元資料和架構。 開啟的編輯器是唯讀格式。

存取鏡像原則

根據預設,開啟 OneLake 可用性會啟用鏡像原則。 您可以使用原則來監視 數據延遲 ,或將其變更為 分割差異資料表

注意

如果您關閉 OneLake 可用性,鏡像原則的 IsEnabled 屬性會設定為 falseIsEnabled=false)。

數據分割差異資料表

您可以分割差異資料表以改善查詢速度。 如需何時分割 OneLake 檔案的相關信息,請參閱 何時分割資料表。 每個分割區會使用 Partitions 清單中所列的 PartitionName,以個別數據行表示。 這表示您的 OneLake 複本的數據行數目超過源資料表。

若要分割您的差異資料表,請使用 .alter-merge 資料表原則鏡像 命令。