什麼是 Fabric 中的鏡像?
Fabric 中的鏡像是低成本且低延遲的解決方案,可將各種系統的數據結合到單一分析平臺。 您可以從各種 Azure 資料庫和外部數據源,將現有的數據資產直接復寫至 Fabric 的 OneLake。
有了 OneLake 中可查詢格式的最新資料,您現在可以在 Fabric 中使用所有不同的服務,例如使用 Spark 執行分析、執行筆記本、資料工程、透過 Power BI 報表視覺化等等。
Fabric 中的鏡像功能讓使用者可以享受一款高度整合、端對端且易於使用的產品,專為簡化您的分析需求而設計。 鏡像是一種專為開放性和與 Microsoft 及能讀取開放原始碼 Delta Lake 資料表格式的技術解決方案之間的合作而設計的解決方案,具有低成本和低延遲的特點。它可以讓您在 OneLake 中建立資料的複本,以滿足所有分析需求。
然後,Delta 資料表可以隨處使用 Fabric,讓使用者加速進入 Fabric 之旅。
為何要在 Fabric 中使用鏡像?
現今,許多組織的關鍵任務操作或分析資料都被孤立在不同的資料孤島中。
存取和使用此資料現在需要複雜的 ETL(擷取、轉換、載入)管線、商務流程和決策孤島,這些形成:
- 對重要、不斷變更、資料的限制和有限存取
- 人員、流程和技術之間的摩擦
- 建立資料管線和程序所需的長時間等待,影響對關鍵資料的存取。
- 不能自由地使用輕鬆分析及分享見解所需的工具
- 缺乏適當的基礎供人們共用和協作處理資料
- 所有分析案例都沒有常見的開放資料格式 - BI、AI、整合、工程,甚至應用程式
Fabric 鏡像技術提供一種輕鬆的使用者體驗,加速洞察與決策的時效性,並打破技術解決方案之間的資料孤島。
- 近乎實時將數據和元數據複製到 SaaS 數據湖,內建 BI 和 AI 的分析功能
Microsoft Fabric 平台是以軟體即服務 (SaaS) 為基礎所建置,將簡單性和整合提升到全新的層次。 若要深入了解 Microsoft Fabric,請參閱什麼是 Microsoft Fabric?
鏡像會在您的 Fabric 工作區中建立三個項目:
除了 SQL 查詢編輯器之外,還有廣泛的工具生態系統,包括 SQL Server Management Studio (SSMS)、 使用 Visual Studio Code 的 mssql 擴充功能,甚至是 GitHub Copilot。
共用可讓您輕鬆控制和管理存取,以確保可以控制敏感性資訊的存取。 共用也可讓您在整個組織中進行安全且民主化的決策。
鏡像類型
Fabric 提供三種不同的方法,透過鏡像將數據帶入 OneLake。
- 資料庫鏡像 – Microsoft Fabric 中的資料庫鏡像可讓您復寫整個資料庫和數據表,讓您將數據從各種系統結合到單一分析平臺。
- 元數據鏡像 – Fabric 中的元數據鏡像 會同步處理元數據(例如目錄名稱、架構和數據表),而不是實際移動數據。 此方法會 利用快捷方式,確保數據保留在其來源中,同時仍可在 Fabric 中輕鬆存取。
- 開放鏡像 – Fabric 中的開放鏡像設計是為了基於開放式 Delta Lake 表格格式擴展鏡像。 這項功能可讓任何開發人員根據開放式鏡像方法和公用 API,將應用程式的變更數據直接寫入Microsoft Fabric 中的鏡像資料庫專案。
目前有下列外部資料庫可供使用:
平台 | 近乎即時的複製 | 鏡像類型 | 端對端教學課程 |
---|---|---|---|
從 Azure Cosmos DB Microsoft網狀架構鏡像資料庫 (預覽) | Yes | 資料庫鏡像 | 教學課程:Azure Cosmos DB |
從 Azure Databricks Microsoft網狀架構鏡像資料庫 (預覽) | Yes | 元數據鏡像 | 教學課程:Azure Databricks |
Azure SQL 資料庫中的 Microsoft Fabric 鏡像資料庫 | Yes | 資料庫鏡像 | 教學課程:Azure SQL 資料庫 |
從 Azure SQL 受控執行個體 Microsoft網狀架構鏡像資料庫 (預覽) | Yes | 資料庫鏡像 | 教學課程:Azure SQL 受控執行個體 |
Microsoft Fabric 鏡像自 Snowflake 的資料庫 | Yes | 資料庫鏡像 | 教學課程:Snowflake |
開啟鏡像資料庫 (預覽) | Yes | 開啟鏡像 | 教學:開啟螢幕鏡射 |
Microsoft Fabric 鏡像資料庫來自 Fabric SQL 資料庫 (預覽) | Yes | 資料庫鏡像 | 自動設定 |
資料庫鏡像的近乎即時復寫如何運作?
鏡像功能是藉由建立與作業資料來源的安全連線來啟用。 可以選擇複寫整個資料庫或個別資料表,鏡像會自動讓資料保持同步。設定之後,資料會持續複寫到 OneLake 以供分析取用。
以下是鏡像的核心原則:
在 Fabric 中啟用鏡像既簡單又直觀,無需建立複雜的 ETL 管線、配置其他計算資源,以及管理資料移動。
Fabric 中的鏡像是完全受管理的服務,因此,不必擔心鏡像連線的裝載、維護或管理複寫。
元數據鏡像如何運作?
鏡像不僅可用於數據同步,還可以通過快捷方式或元數據鏡像來實現,而不是進行完整的數據複製,因此數據可在不實際移動或複製的情況下被使用。 在這個上下文中,同步指的是僅複製元數據,例如目錄名稱、模式以及數據表,而不是實際數據本身。 此方法可讓 Fabric 讓不同來源的數據可供存取,而不需要複製數據、簡化數據管理並將記憶體需求降到最低。
例如,在 Unity 目錄中存取 已註冊的數據時,Fabric 只會鏡像來自 Azure Databricks 的目錄結構,讓基礎數據可以透過快捷方式存取。 此方法可確保源數據中的任何變更會立即反映在 Fabric 中,而不需要數據移動、維護即時同步處理,以及提升存取最新資訊的效率。
開放鏡像如何運作?
除了藉由建立與數據源的安全連線來啟用數據複寫,您也可以選取現有的數據提供者,或撰寫您自己的應用程式將數據登陸至鏡像資料庫。 一旦您透過公用 API 或透過網狀架構入口網站建立 開放式鏡像資料庫 ,您就可以在 OneLake 中取得登陸區域 URL,您可以在其中根據開啟的鏡像規格來登陸變更數據。
一旦數據以適當的格式進入落地區域,復寫流程就會啟動,並有效管理變更與更新、插入和刪除操作的合併複雜性,以反映在差異數據表中。 此方法可確保寫入著陸區的任何數據都會被即時更新,並保持數據在 Fabric 中的最新狀態。
分享
共用可讓您輕鬆控制和管理存取,而資料列層級安全性 (RLS) 和物件層級安全性 (OLS) 等安全性控制措施也可讓您控制敏感性資訊的存取。 共用也可讓您在整個組織中進行安全且民主化的決策。
藉由共用,使用者會授與其他使用者或使用者群組對鏡像資料庫的存取權,而不授與工作區及其餘項目的存取權。 當有人共用鏡像資料庫時,也會授與 SQL 分析端點的存取權和相關聯的預設語意模型。
如需詳細資訊,請參閱 共用鏡像資料庫和管理許可權。
跨資料庫查詢
透過儲存在 OneLake 中的鏡像資料庫資料,可以在單一 T-SQL 查詢中撰寫跨資料庫查詢、聯結來自鏡像資料庫、倉儲和 Lakehouses SQL 分析端點的資料。 如需詳細資訊,請參閱撰寫跨資料庫查詢。
例如,您可以使用三部分命名來引用鏡像資料庫和數據倉庫中的資料表。 在下列範例中,使用三部分名稱來參考倉庫ContosoSalesTable
中的ContosoWarehouse
。 來自其他資料庫或資料倉儲,標準 SQL 三部分命名慣例的第一部分是鏡像資料庫名稱。
SELECT *
FROM ContosoWarehouse.dbo.ContosoSalesTable AS Contoso
INNER JOIN Affiliation
ON Affiliation.AffiliationId = Contoso.RecordTypeID;
鏡像成本
對於資料庫鏡像和開啟鏡像,Fabric 計算和 OneLake 儲存可以在容量限制內免費使用。
- 用於複本的存儲在一定容量的限制內是免費的。 鏡像服務針對您所購買的每個容量單位(CU)提供一TB的免費鏡像儲存空間。 例如,如果您購買 F64 容量,您會獲得 64 TB 的免費記憶體,專門用於鏡像。 如果超過免費鏡像記憶體限制,或容量暫停時,就會收取 OneLake 記憶體的費用。 如需詳細資訊,請參閱 Microsoft 網狀架構定價。
- 用來將數據復寫到 Fabric OneLake 的網狀架構計算是免費的,而且不會耗用容量。 在鏡像程序中向 OneLake 提出的請求會像一般的 OneLake 計算資源消耗一樣使用算力。 使用 SQL、Power BI 或 Spark 查詢數據的計算會以一般費率收費。
資料工程應用於鏡像資料庫的數據
Microsoft Fabric 提供各種資料工程功能,以確保您的資料易於存取、組織良好且高品質。 從Fabric Data Engineering,您可以:
- 使用 Lakehouse 以 Spark 形式建立和管理資料
- 設計流程以將資料複製到數據湖倉庫
- 使用 Spark 工作定義將批次/串流工作提交至 Spark 叢集
- 使用筆記本撰寫程式碼來擷取、準備和轉換資料
使用資料科學方法分析鏡像備份的資料庫數據
Microsoft Fabric 提供 Fabric 資料科學,讓用戶能夠完成端對端數據科學工作流程,以取得數據擴充和商務見解。 您可以完成整個資料科學程序的各種活動,從資料探索、準備和清理到實驗、模型化、模型評分,以及為 BI 報表提供預測性深入解析。
Microsoft Fabric 使用者可以存取 Data Science 工作負載。 他們可以從該處探索及存取各種相關資源。 例如,他們可以建立機器學習實驗、模型和筆記本。 他們也可以將現有筆記本匯入到資料科學首頁上。
Fabric 中的 SQL 資料庫
您也可以在網狀架構入口網站內的 Microsoft Fabric 中直接建立和管理 SQL 資料庫。 根據 Azure SQL 資料庫,Fabric 中的 SQL 資料庫會自動鏡像以供分析之用,並可讓您輕鬆地在 Fabric 中建立作業資料庫。 SQL Database 是 Fabric 中用於 OLTP 工作負載的主要位置,並能與 Fabric 的 原始檔控制整合。