鏡像 Azure Cosmos DB (預覽版)
Microsoft Fabric 中的鏡像提供無縫的無 ETL 體驗,可將現有 Azure Cosmos DB 資料與 Microsoft Fabric 中的其餘資料整合。 Azure Cosmos DB 資料會以近即時的方式直接持續複寫到 Fabric OneLake,而對交易式工作負載或取用要求單位 (RU) 沒有任何影響。
OneLake 中的資料會以開放原始碼差異格式儲存,並自動提供給 Fabric 中的所有分析引擎使用。
您可以利用內建的 Power BI 功能,在 DirectLake 模式中存取 OneLake 中的資料。 透過 Fabric 中的 Copilot 增強功能,您可以使用生成式 AI 的強大功能來取得商務資料的重要深入解析。 除了 Power BI 之外,您還可以使用 T-SQL 來執行複雜的彙總查詢,或使用 Spark 進行資料探索。 您可以無縫地存取筆記本中的資料,並使用資料科學來建置機器學習模型。
重要
Azure Cosmos DB 的鏡像功能目前為預覽版。 預覽期間不支援生產工作負載。 目前僅支援 Azure Cosmos DB for NoSQL 帳戶。
為什麼使用 Fabric 中的鏡像?
使用 Fabric 中的鏡像時,您不需要將多個廠商的不同服務拼湊在一起。 相反地,您可以享受高度整合、端對端且易於使用的產品,其旨在簡化分析需求並為開放性而建置。
如果您正在尋找有關 Azure Cosmos DB 中作業資料的 BI 報告或分析,鏡像可提供:
- 無 ETL、符合成本效益且近乎即時存取 Azure Cosmos DB 資料,而不會影響您的要求單位耗用量
- 輕鬆將各種來源的資料帶入 Fabric OneLake
- 使用 v 順序進行差異資料表最佳化,實現閃電般快速讀取
- 單鍵即可整合 Power BI 與 Direct Lake 及 Copilot
- 豐富的商業見解 (透過聯結不同來源的資料)
- 更豐富的應用程式整合以存取查詢和檢視
OneLake 資料以開放原始碼 Delta Lake 格式儲存,可讓您將其與 Microsoft 內部和外部的各種解決方案搭配使用。 此資料格式可協助您更輕鬆地為分析需求建置單一資料資產。
內建了哪些分析體驗?
鏡像資料庫是 Fabric Synapse 資料倉儲中的項目,與倉儲和 SQL 分析端點不同。
每個鏡像 Azure Cosmos DB 資料庫都有三個項目,您可以在 Fabric 工作區中與其互動:
- 鏡像資料庫項目。 鏡像以分析就緒的格式管理資料到 OneLake 的複寫以及到 Parquet 的轉換。 這適用於資料工程、資料科學等下游案例。
- SQL 分析端點 (自動產生)
- 預設語意模型 (自動產生)
鏡像資料庫
鏡像資料庫顯示複寫狀態以及在 Fabric OneLake 中停止或啟動複寫的控制。 您也可以使用 Azure Cosmos DB 資料總管,以唯讀模式檢視來源資料庫。 使用資料總管,您可以在來源 Azure Cosmos DB 資料庫中檢視容器並加以查詢。 這些作業會取用 Azure Cosmos DB 帳戶中的要求單位 (RU)。 對來源資料庫的任何變更都會立即反映在 Fabric 的來源資料庫檢視中。 Fabric 不允許寫入來源資料庫,因為您只能檢視資料。
SQL 分析端點
每個鏡像資料庫都具有自動產生的 SQL 分析端點,可在鏡像程序所建立 OneLake 的差異資料表上提供豐富的分析體驗。 您可以存取熟悉的 T-SQL 命令,這些命令可以定義和查詢資料物件,但無法操作來自 SQL 分析端點的資料,因為它是唯讀複本。
您可以在 SQL 分析端點中執行下列動作:
- 使用 T-SQL 探索 Delta Lake 資料表。 每個資料表都會從您的 Azure Cosmos DB 資料庫對應至容器。
- 建立無程式碼查詢和檢視,並以視覺化方式探索,而無需撰寫程式碼。
- 在相同工作區中聯結和查詢其他鏡像資料庫、倉儲和 Lakehouses 中的資料。
- 您可以根據 SQL 查詢或檢視,透過按一下來視覺化和建置 BI 報表。
除了 Microsoft Fabric SQL 查詢編輯器之外,還有廣泛的工具生態系統。 這些工具包括 Visual Studio Code、Azure Data Studio、SQL Server Management Studio,甚至 GitHub Copilot。 您可以透過您選擇的工具增強分析和深入解析產生。
語意模型
預設語意模型是自動佈建的 Power BI 語意模型。 此功能允許建立、共用和重複使用商務計量。 如需詳細資訊,請參閱語意模型。
近即時複寫如何運作?
當在 Azure Cosmos DB 資料庫上啟用鏡像時,線上交易處理 (OLTP) 資料上的插入、更新和刪除作業會持續複寫到 Fabric OneLake 中以分析使用量。
連續備份功能是鏡像的必要條件。 您可以在 Azure Cosmos DB 帳戶上啟用 7 天或 30 天的連續備份。 如果您專門為鏡像啟用連續備份,建議使用 7 天連續備份,因為它是免費的。
注意
鏡像不會使用 Azure Cosmos DB 的分析存放區或變更摘要作為異動資料擷取來源。 您可以繼續獨立使用這些功能以及鏡像。
將 Azure Cosmos DB 資料複寫到 Fabric OneLake 可能需要幾分鐘的時間。 視資料的初始快照或更新/刪除的頻率而定,在某些情況下,複寫可能需要較長的時間。 複寫不會影響您為交易式工作負載配置的要求單位 (RU)。
對鏡像有何預期
在鏡像之前,您應考慮一些注意事項和支援的案例。
設定考量
若要鏡像資料庫,應已在 Azure 中佈建該資料庫。 您必須在帳戶上啟用連續備份作為必要條件。
- 您一次只能個別鏡像每個資料庫。 您可以選擇要鏡像的資料庫。
- 您可以在相同的工作區內多次鏡像相同的資料庫。 最佳做法是,可以跨 Lakehouse、倉儲或其他鏡像資料庫重複使用單一資料庫複本。 您不需要為相同資料庫設定多個鏡像。
- 您也可以跨不同的 Fabric 工作區或租用戶鏡像相同的資料庫。
- 對 Azure Cosmos DB 容器的變更 (例如新增容器和刪除現有的容器) 會無縫地複寫至 Fabric。 例如,您可以開始鏡像沒有容器的空白資料庫,而鏡像會無縫地挑選稍後時間點新增的容器。
支援巢狀資料
巢狀資料會顯示為 SQL 分析端點資料表中的 JSON 字串。 您可以在 T-SQL 查詢或檢視中使用 OPENJSON
、CROSS APPLY
和 OUTER APPLY
,選擇性地展開此資料。 如果使用 Power Query,您也可以套用 ToJson
函數來展開此資料。
注意
Fabric 對字串資料行的大小有 8 KB 的限制。 如需詳細資訊,請參閱資料倉儲限制。
處理結構描述變更
鏡像會自動跨 Azure Cosmos DB 項目複寫屬性,並變更結構描述。 在項目中發現的任何新屬性都會顯示為新資料行,並且遺漏的屬性 (如果有) 在 Fabric 中表示為 null。
如果您重新命名項目中的屬性,Fabric 資料表會同時保留舊資料行和新資料行。 舊資料行會顯示 null,而新資料行會顯示在重新命名作業之後複寫的任何項目的最新值。
如果您在 Azure Cosmos DB 項目中變更屬性的資料類型,則可以針對可轉換的相容資料類型支援變更。 如果資料類型與差異中的轉換不相容,則會以 null 值表示。
SQL 分析端點資料表會將差異資料類型轉換為 T-SQL 資料類型。
重複的資料行名稱
Azure Cosmos DB 支援以 JSON 標準為基礎的不區分大小寫的資料行名稱。 鏡像支援這些重複的資料行名稱,方法是將 _n
新增至資料行名稱,其中 n
是數值。
例如,如果 Azure Cosmos DB 項目具有 addressName
和 AddressName
作為唯一屬性,Fabric 資料表具有對應的 addressName
和 AddressName_1
資料行。 如需詳細資訊,請參閱複寫限制。
安全性
來源資料庫的連線以 Azure Cosmos DB 帳戶的帳戶金鑰為基礎。 如果輪替或重新產生金鑰,您必須更新連線,以確保複寫運作。 如需詳細資訊,請參閱連線。
設定連線之後,其他 Fabric 使用者不會直接看到帳戶金鑰。 您可以限制誰可以存取在 Fabric 中建立的連線。 不允許從鏡像資料庫中的資料總管或分析端點寫入 Azure Cosmos DB 資料庫。
鏡像目前不支援使用唯讀帳戶金鑰、使用 Microsoft Entra ID 的單一登入 (SSO) 和角色型存取控制或受控識別進行驗證。
將資料複寫到 Fabric OneLake 之後,您需要保護對此資料的存取安全。
資料保護功能
您可以在 Microsoft Fabric 的鏡像資料庫中設定細微的安全性。 如需詳細資訊,請參閱 Microsoft Fabric 中的細微權限。
您可以對 Microsoft Fabric 中的角色和使用者保護資料表上的資料行篩選和述詞型資料列篩選的安全:
您也可以使用動態資料遮罩,透過非系統管理員使用者遮罩敏感資料:
網路安全性
目前,鏡像不支援 OneLake 上的私人端點或客戶自控金鑰 (CMK)。 對於網路安全組態比所有網路寬鬆的 Azure Cosmos DB 帳戶、使用服務端點、使用私人端點、使用 IP 位址或使用可能限制公用網路存取帳戶的任何其他設定的 Azure Cosmos DB 帳戶,不支援鏡像。 Azure Cosmos DB 帳戶應開放給所有網路,以使用鏡像。
災害復原和複寫延遲
在 Fabric 中,您可以將內容部署至 Fabric 租用戶主要區域以外區域內的資料中心。 如需詳細資訊,請參閱多地理位置支援。
對於具有主要寫入區域和多個讀取區域的 Azure Cosmos DB 帳戶,鏡像會選擇最接近設定 Fabric 容量的區域的 Azure Cosmos DB 讀取區域。 此選取項目有助於為鏡像提供低延遲複寫。
當您將 Azure Cosmos DB 帳戶切換至復原區域時,鏡像會自動再次選取最近的 Azure Cosmos DB 區域。
注意
鏡像不支援具有多個寫入區域的帳戶。
複寫至 OneLake 的 Cosmos DB 資料需要設定為處理全區域中斷。 如需詳細資訊,請參閱 OneLake 中的災害復原。
使用鏡像探索資料
您可以直接檢視及存取 OneLake 中的鏡像資料。 您也可以無縫地存取鏡像資料,而不需要進一步移動資料。
深入了解如何使用 ADLS Gen2 API 或 SDK、OneLake 檔案總管及 Azure 儲存體總管來存取 OneLake。
您可以從 SQL Server Management Studio (SSMS) 等工具或使用 Microsoft 開放式資料庫連接 (ODBC) 和 Java 資料庫連線 (JDBC) 等驅動程式連線至 SQL 分析端點。 如需詳細資訊,請參閱 SQL 分析端點連線。
您也可以使用下列服務存取鏡像資料:
- Azure Databricks、Azure HDInsight 或 Azure Synapse Analytics 等服務
- Fabric Lakehouse (使用資料工程和資料科學案例的捷徑)
- Fabric 工作區中的其他鏡像資料庫或倉儲
您還可以建置獎牌架構解決方案,清理並轉換登陸到鏡像資料庫中的資料作為銅級層。 如需詳細資訊,請參閱 Fabric 中的獎牌架構支援。
定價
鏡像是免費的計算,用於將 Cosmos DB 資料複寫到 Fabric OneLake。 根據某些條件,OneLake 中的儲存空間是免費的。 如需詳細資訊,請參閱 OneLake 鏡像定價。透過 SQL、Power BI 或 Spark 查詢資料的計算使用量仍會根據 Fabric 容量收費。
如果在 Fabric 鏡像中使用資料總管,則根據要求單位 (RU) 使用量來探索容器並查詢來源 Azure Cosmos DB 資料庫中的項目,會產生典型成本。 Azure Cosmos DB 連續備份功能是鏡像的必要條件:連續備份適用的標準費用。 連續備份計費的鏡像不會產生額外費用。 如需詳細資訊,請參閱 Azure Cosmos DB 價格。