Fabric 中的鏡像是一種低成本且低延遲的解決方案,可將來自各種系統的資料整合到單一分析平台中。 你可以持續地將現有的資料資產直接從各種 Azure 資料庫和外部資料來源複製到 Fabric 的 OneLake。
在 OneLake 中擁有最新且可查詢的格式的資料,您現在可以使用 Fabric 中的所有服務,例如使用 Spark 執行分析、執行筆記本、進行資料工程、透過 Power BI 報表可視化呈現等。
Fabric 中的鏡像可讓使用者享受高度整合、端對端且易於使用的產品,其設計目的是簡化您的分析需求。 鏡像是一個專為促進 Microsoft 與可讀取開放原始碼 Delta Lake 表格格式技術解決方案之間的開放性和合作而設計的方案,這是一個低成本且低延遲的完整解決方案,讓您能在 OneLake 中創建資料副本,以滿足所有分析需求。
然後,Delta 數據表可以在 Fabric 的任何地方使用,允許用戶加速進入 Fabric 的旅程。
鏡映是透過建立與作業資料來源的安全連線來啟用。 你可以選擇複製整個資料庫或單一資料表,鏡像會自動保持資料同步。一旦設定完成,資料將持續複製到 OneLake 以供分析使用。
為什麼要在 Fabric 中使用映射?
如今,許多組織都將關鍵任務營運或分析資料置於孤島中。
如今,存取和處理這些資料需要複雜的 ETL (擷取轉換載入) 管道、業務流程和決策孤島,從而建立:
- 對重要且不斷變化的數據訪問權限受到限制。
- 人、流程、技術之間的摩擦
- 為至關重要的資料建立管道和流程的等待時間很長
- 無法自由使用舒適地分析和分享見解所需的工具
- 缺乏適當的基礎供人們共享和協作處理數據
- 沒有適用於所有分析場景的通用開放數據格式 - BI、AI、集成、工程,甚至應用程序
Fabric 中的鏡像功能提供簡單的體驗,能加快獲取洞察力和做出決策的速度,並消除技術解決方案之間的資料孤島。
- 將資料和中繼資料幾乎即時地複製到 SaaS 資料湖中,並內建 BI 和 AI 分析功能來進行分析。
Microsoft Fabric 平台建立在軟體即服務(SaaS)的基礎上,將簡易性與整合性提升到全新層次。 欲了解更多Microsoft Fabric,請參閱 什麼是Microsoft Fabric?
以下是鏡像的核心原則:
在 Fabric 中啟用鏡像既簡單又直觀,無需建立複雜的 ETL 管線、配置其他運算資源和管理資料移動。
Fabric 中的鏡像服務是完全托管的服務,因此您不必擔心託管、維護或管理鏡像連線的複寫。
鏡像物件
在 Fabric 工作區中,鏡像會建立下列項目:
- 鏡像會管理將資料和中繼資料複寫到 OneLake,並將其轉換成分析就緒的 Parquet 格式。 這可啟用資料工程、資料科學之類的下游應用情境。
- SQL 分析端點
除了 SQL 查詢編輯器,還有廣泛的工具生態系統,包括 SQL Server Management Studio(SSMS)、Visual Studio Code 的 MSSQL 擴充功能,甚至還有 GitHub Copilot。
共用 可讓您輕鬆進行存取控制和管理,以確保您可以控制對敏感資訊的存取。 共用還可以在整個組織中實現安全且民主化的決策。
鏡像的類型
Fabric 提供三種不同的方法,透過鏡像將資料帶入 OneLake。
- 資料庫鏡像 – Microsoft Fabric 中的資料庫鏡像允許複製整個資料庫與資料表,將多個系統的資料整合到單一分析平台。
- 中繼資料鏡像 — Fabric 中的中繼資料鏡像會同步中繼資料 (例如目錄名稱、結構描述和資料表),而不是實際移動資料。 這種方法利用 快捷方式,確保資料保留在其來源中,同時仍然可以在 Fabric 中輕鬆存取。
- 開放式鏡像 — Fabric 中的開放式鏡像旨在基於開放式 Delta Lake 表格格式擴展鏡像功能。 此功能允許任何開發者基於開放鏡像方法與公開 API,直接將應用程式變更資料寫入 Microsoft Fabric 中的鏡像資料庫項目中。
目前,可以使用以下外部資料庫:
| 平台 | 近乎即時的複製 | 鏡映類型 | 端對端教學課程 |
|---|---|---|---|
| Microsoft Fabric 從 Azure Cosmos DB 鏡像的資料庫 | Yes | 資料庫鏡像 | 教學:Azure Cosmos DB |
| Yes | 元資料鏡像 | 教學:Azure Databricks | |
| Microsoft Fabric 從 適用於 PostgreSQL 的 Azure 資料庫 彈性伺服器 進行資料庫鏡像 | Yes | 資料庫鏡像 | 教學:適用於 PostgreSQL 的 Azure 資料庫 彈性伺服器 |
| 來自Azure SQL Database的Microsoft Fabric鏡像資料庫 | Yes | 資料庫鏡像 | 教學:Azure SQL Database |
| Microsoft Fabric 鏡像來自 Azure SQL 受控執行個體 的資料庫 | Yes | 資料庫鏡像 | 教學:Azure SQL 受控執行個體 |
| Yes | 資料庫鏡像 | 教學:Google BigQuery | |
| Microsoft Fabric 與 Oracle 的鏡像化資料庫(預覽) | Yes | 資料庫鏡像 | 教學課程:Oracle |
| Yes | 資料庫鏡像 | 教學:SAP | |
| Yes | 資料庫鏡像 | 教學課程:Snowflake | |
| Microsoft Fabric 從 SQL Server 鏡像的資料庫 | Yes | 資料庫鏡像 | 教學:SQL Server |
| 開啟鏡像資料庫 | Yes | 開啟鏡像 | 教學:開啟鏡像 |
| Microsoft Fabric 將 Fabric SQL 資料庫的資料庫進行鏡像 | Yes | 資料庫鏡像 | 自動設定 |
近即時複製
接近實時的過程可能取決於多種因素,包括:
- 來源地/區域
- 目的地/地區
- 變更量
- 變更頻率
- 來自來源的網路頻寬與延遲
- 分配給本地資料閘道的運算資源
資料庫鏡像是如何運作的?
Delta 檔案會從資料來源逐步進入 Fabric。 識別增量變更資料的方法因資料來源而異。 以 SQL Server 2025 為例,SQL 資料庫引擎 會以高頻率掃描來源資料庫的交易日誌。 SQL Server 會將每個資料表的變更發布到對應的 Fabric 登陸區檔案。
在 Fabric 內部,一個複製引擎持續運行,並以高頻率掃描新發佈的檔案。 Fabric 會立即將收到的變更合併到目標 delta 表中。 變更可每 15 秒發布一次。
用來偵測活動量低的退避邏輯,避免了 Fabric 外資料來源引擎的過多開銷,並透過回應資料變更的頻率來降低延遲時間。
Fabric 資料庫鏡像的運作方式示意圖。
元数据镜像是如何工作的?
鏡像不僅能夠促成資料的重複,還可以透過快捷方式或元資料鏡像來實現,而非完整資料複製,以便在無需物理移動或複製資料的情況下提供資料的可用性。 在此情境下,鏡像指僅複製元數據,包括目錄名稱、結構描述及資料表,而不是實際的資料內容。 這種方法使 Fabric 能夠使來自不同來源的數據無需重複即可訪問,從而簡化數據管理並最大限度地減少存儲需求。
例如,當存取 Unity 目錄中註冊的 data 時,Fabric 僅鏡像 Azure Databricks 的目錄結構,允許透過捷徑存取底層資料。 這種方法可確保來源資料的任何變更會立即反映在 Fabric 中,而無需移動資料,從而保持即時同步並提高存取最新資訊的效率。
開放鏡像如何運作?
除了通過建立與資料來源的安全連接來實現資料鏡像和複寫之外,您還可以選擇現有的資料提供者或編寫自己的應用程式,將資料導入鏡像資料庫。 透過公用 API 或 Fabric 入口網站建立 開放的鏡像資料庫 之後,您將能夠在 OneLake 中取得登陸區域 URL,您可以在其中根據開啟的鏡像規格登陸變更資料。
一旦資料以適當的格式進入登陸區域,複寫就會開始執行,並管理將變更與更新、插入和刪除合併的複雜性,以反映到差異資料表中。 此方法可確保寫入登陸區域的任何數據都會立即更新,並保持 Fabric 中的數據始終最新。
分享
共用可讓您輕鬆進行存取控制和管理,而資料列層級安全性 (RLS) 和物件層級安全性 (OLS) 等安全性控制可確保您可以控制對敏感資訊的存取。 共用還可以在整個組織中實現安全且民主化的決策。
透過共用,使用者會授與其他使用者或使用者群組對鏡像資料庫的存取權,而不授與工作區及其其餘項目的存取權。 當有人共用鏡像資料庫時,他們也會授與 SQL 分析端點的存取權。
如需詳細資訊,請參閱 共用鏡像資料庫並管理權限。
跨資料庫查詢
使用儲存在 OneLake 中的鏡像資料庫中的資料,您可以撰寫跨資料庫查詢,在單一 T-SQL 查詢中聯結來自鏡像資料庫、倉儲和 Lakehouse 的 SQL 分析端點的資料。 如需詳細資訊,請參閱 撰寫跨資料庫查詢。
例如,您可以使用三部分命名法來參考鏡像資料庫和資料倉儲中的表格。 在下列範例中,使用三部分名稱來指向倉庫中的元件。 從其他資料庫或倉儲來看,標準 SQL 三部分命名慣例的第一部分是鏡映資料庫的名稱。
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
鏡像成本
針對資料庫鏡像和開放式鏡像,Fabric 計算和 OneLake 儲存體在容量型限制範圍內是免費的。
- 複本的儲存體會根據容量大小釋放上限。 鏡像為您購買的每個容量單位 (CU) 提供免費的 TB 鏡射儲存。 例如,如果您購買 F64 容量,您將獲得價值 64 TB 的免費儲存空間,專門用於鏡像。 如果超過免費鏡像儲存體限制,或當容量暫停時,會對 OneLake 儲存體計費。 更多資訊請參閱 Microsoft Fabric 價格。
- 用來將資料複寫至 Fabric OneLake 的背景 Fabric 計算是免費的,而且不會耗用容量。 直接向 OneLake 請求鏡像資料會耗用資源,跟一般 OneLake 計算資源一致。 使用 SQL、Power BI 或 Spark 查詢資料的計算費用會按固定費率收費。
- Mirroring 的初始設定僅需運行中的 Fabric 容量。
使用鏡像資料庫資料進行資料工程
Microsoft Fabric 提供多種資料工程功能,確保您的資料易於存取、組織良好且品質優良。 從 Fabric 資料工程中,您可以執行以下操作:
- 使用湖屋透過 Spark 建立並管理您的資料
- 設計管線以將資料複製到您的湖庫
- 使用 Spark 作業定義將批次/串流作業提交至 Spark 叢集
- 使用筆記本撰寫資料擷取、準備和轉換的程式碼
資料科學與鏡像數據庫中的數據
Microsoft Fabric 提供 Fabric 資料科學,讓使用者能完成端到端的資料科學工作流程,以豐富資料與商業洞察。 您可以在整個資料科學程式中完成各種活動,從資料探索、準備和清理到實驗、建模、模型評分,以及向 BI 報表提供預測深入解析。
Microsoft Fabric 使用者可存取 資料科學工作負載。 從那裡,他們可以發現和存取各種相關資源。 例如,他們可以創建機器學習實驗、模型和筆記本。 他們還可以在資料科學主頁上匯入現有的筆記本。
Direct Lake 與鏡像資料庫資料整合
Direct Lake 模式可用於 Microsoft Fabric 的鏡像資料庫,實現對鏡像資料的高品質查詢,無需資料移動或重複。 建立鏡像資料庫時,其資料會以 Delta Lake 格式儲存在 OneLake 內。 此原生格式允許 Power BI 與其他分析工具透過 Direct Lake 模式連接,透過直接存取底層檔案提供近乎即時的洞察。 這種整合將鏡像的簡單性與 Direct Lake 的速度和可擴展性結合起來,使得營運數據報告可以快速且即時更新。
鏡像資料的保存
Fabric 中的鏡像會持續將您現有的資料資產複寫到 Delta Lake 資料表格式的 OneLake。 為了保持鏡像數據有效地儲存並隨時準備進行數據分析,系統會自動執行清理操作,以移除不再被Delta日誌引用的舊檔案。
您可以根據自己的需求自訂保留設定。 例如,您可以選擇較短的保留期以減少鏡像儲存消耗,或延長保留期以利用達美航空的時間旅行功能進行分析。
對於 2025 年 6 月中旬之後從 Fabric 入口網站建立的鏡像資料庫,預設保留期為一天。 對於舊的鏡像資料庫,預設值為 7 天。 要檢查或更新保留設定,請在 Fabric 入口網站中,導覽到鏡像資料庫 -設定 -Delta 表格管理 標籤,並指定保留閾值。 您也可以透過公共 API 並指定 屬性進行設定。
Fabric 中的 SQL 資料庫
你也可以直接在 Fabric 門戶網站內建立並管理 Microsoft Fabric 中的 SQL 資料庫。 基於Azure SQL Database,Fabric 中的 SQL 資料庫會自動鏡像以供分析,讓您輕鬆建立營運資料庫。 SQL 資料庫是 Fabric 中適用於 OLTP 工作負載的核心地點,並且可以與 Fabric 的原始碼控制整合互相配合。
相關內容
- 什麼是Microsoft Fabric?
- Lakehouse 的 SQL 分析端點是什麼?
- Direct Lake 概覽