適用於:✅Microsoft Fabric 中的 SQL 資料庫
本文說明如何在 Fabric 中使用 SQL 資料庫實作 操作性資料庫(ODS )。 它提供架構指導、設計模式、工作負載特性,以及 Fabric 專用考量,以建立安全、效能高且受控的 ODS。
什麼是ODS?
作業資料儲存(ODS)是一種以主題為導向、整合且近乎即時的儲存裝置,將多個營運系統的資料整合成一個經過輕度策劃、正規化的模型——通常是標準化結構。 它支援營運報告、輕量級分析、API 服務,以及向下游傳播至分析層級,如 Fabric Warehouse 或 Fabric Lakehouse。
ODS 並非 源線上交易處理(OLTP)系統或維度倉庫。
相反地,它作為過去 N 分鐘、數小時甚至數天的「熱且和諧的真相」,介於源系統與分析平台之間。
ODS 的主要特徵
Microsoft Fabric 中的營運資料儲存庫(ODS)設計用以提供近乎即時的營運資料視圖,並具備強大的治理與效能保證。
- 它能從多個來源系統匯入資料,延遲低。
- 該結構通常以第三正規形式(3NF)正規化,以支持彈性與可追溯性。
- 資料品質透過重複刪除、身份解析及處理遲到或軟刪除紀錄來強化,為營運報告與下游分析建立可靠的基礎。
- 服務模式包括基於 SQL 的查詢、操作儀表板、警示與 API,而 Fabric 治理功能則確保資料生命週期中的合規性與安全性。
Fabric 中的 SQL 資料庫作為營運資料與分析平台之間安全且高效的管道。
Components
以下元件涉及使用 SQL 資料庫作為 Fabric 中的操作資料儲存:
- 約束與鍵:強制執行業務邏輯與參照完整性(自然鍵、代理鍵、外鍵)。
- 身份解析:跨來源去重;套用生存者規則。
- 服務:公開 GraphQL 端點和/或建置 Power BI 儀表板。
資料擷取與工作負載最佳實務
要在 Fabric 平台上建立基於 SQL 資料庫的 ODS,需要制定一套能在新鮮度、可靠性與效能之間達成平衡的資訊擷取策略。
- 批次與增量載入通常透過 Fabric 資料管線透過支援變更資料擷取的連接器進行協調,並搭配浮水印與重試邏輯以確保一致性。
- 調整管線並行性,讓 SQL 資料庫在高峰負載時能擴展,同時達到服務層級的資料新鮮度目標。
- 浮水印是增量複製過程中一個重要的概念。 它幫助你輕鬆辨識增量負載最後停留的位置。
- 在 Dataflow Gen2 或 Spark Notebook 上游執行大量轉換。 將 SQL 層保留用於最終的
MERGE操作,這些操作執行約束並維持類似 OLTP 的效能。 - 使用冪等設計模式,結合變更偵測、浮水印、T-SQL 合併與控制表,以確保安全重啟與營運韌性。
引擎與環境
Fabric 中的 SQL 資料庫基於與 Azure SQL 資料庫相同的 SQL 資料庫引擎,提供熟悉的 T-SQL 體驗,並完全相容於標準客戶端工具。
透過使用 Microsoft Fabric 中的 SQL 資料庫,您可以透過 Microsoft Fabric 的其他功能,建立從資料擷取到分析的端到端工作流程:
- 資料管線
- 數據流 Gen2
- Notebooks
- 即時智能
- Power BI
- 整合使用 Git 基礎的 CI/CD 以精簡 DevOps 流程