OneLake 快取捷徑是來自 Eventhouse 的參考,指向內部的 Fabric 或外部來源。 稍後會使用external_table()函式,在 KQL 查詢集中存取這類的查詢快捷方式。 透過 OneLake 快捷方式執行的查詢效能可能比直接擷取至 Eventhouse 的數據效能低,因為各種因素,例如從記憶體擷取數據的網路呼叫、缺少索引等等。
查詢加速允許在外部delta表(一種追蹤資料變化的儲存格式)之上指定政策,定義高效能查詢時快取資料的天數。
Eventhouse 支援透過 OneLake 捷徑、Azure Data Lake Store Gen1、Amazon S3、Google Cloud Services、Azure blob storage 外部資料表,以及所有 OneLake 捷徑支援的目的地的 delta 表進行查詢加速。
注意
如果您有需要將數據儲存在特定區域中的合規性考慮,請確定您的 Eventhouse 容量與外部數據表或快捷方式數據位於相同的區域中。
加速的外部數據表會新增至記憶體 COGS 和 SSD 記憶體耗用量,類似於 KQL 資料庫中的一般數據表。 您可以透過在查詢加速原則中定義Hot屬性,來控制快取的數據量。 索引編製和擷取活動也有助於計算資源使用。
何時應該使用 OneLake 快捷方式的查詢加速?
查詢加速功能會在資料進入 OneLake 時快取數據,性能媲美於在 Eventhouse 中處理數據。 藉由使用這項功能,您可以加速 OneLake 中的數據登陸,包括現有的數據和任何新的更新,並預期類似的效能。 這樣就不需要管理擷取管線、維護重複的數據複本,同時確保數據保持同步,而不需要額外的工作。
下列案例適用於透過 OneLake 快捷方式使用查詢加速:
- 以高效能查詢 OneLake 中的數據:當您有現有工作負載上傳數據並在記憶體中管理數據時(選擇性地位於不同的雲端或區域中),而且您想要以高效能查詢部分或所有數據。
- 結合歷史數據與即時串流:當您想要無縫地結合直接進入 OneLake 的數據與進入 Eventhouse 的即時串流,而不影響查詢速度。
- 利用其他項目管理的維度數據:通常高價值且小批量的數據會裝載在 SQL Server、Cosmos DB、Snowflake 或其他能夠鏡像到 OneLake 的系統中。 優化的 OneLake 快捷方式可讓此數據在 Eventhouse 查詢中輕鬆進行聯結和增強。 由於維度數據通常比活動數據小很多,因此與該使用量相關聯的額外成本通常最低。
外部加速Delta表的行為
加速的 OneLake 快捷方式的行為就像 外部數據表,具有相同的限制和功能。 具體而言,不支持具體化檢視和更新原則等功能。
監視加速行為
查詢加速的初始程序取決於外部數據表的大小。 若要監視加速資料表的進度和設定,請在 KQL 查詢集中使用 .show 外部資料表作業 query_acceleration 統計 命令。
限制
- 外部數據表中的數據行數目不能超過 900。
- 查詢超過 250 萬個資料檔的加速型外部增量表時,效能可能無法達到最佳狀態。
- 此功能假設具有固定進階功能的 Delta 表,例如欄位映射不會變更、分區不會變更等等。 若要變更進階功能,請先停用原則,一旦進行變更,請重新啟用原則。
- 差異數據表上的架構變更也必須遵循個別
.alter的外部差異數據表架構,如果發生重大架構變更,可能會導致從頭開始加速。 - 分割區不支援以索引為基礎的剪除。
- 壓縮後大小超過 6 GB 的 Parquet 文件將不會被快取。
計費
加速資料會按照 OneLake Premium 快取表計量收費,類似於本地 Eventhouse 表格。 您可以透過設定快取天數來控制被加速的數據量。 編製索引活動也可能計入 CU 耗用量。 如需詳細資訊,請參閱 儲存計費。
與查詢加速相關的收費會顯示在 Eventhouse 下設置加速捷徑的 Fabric metrics app 中。