下載 Lakehouse 參考架構

發行項
04/16/2024

本文涵蓋 Lakehouse 的數據源、擷取、轉換、查詢和處理、服務、分析/輸出和記憶體等架構指引。

每個參考架構都有 11 x 17 （A3）格式的可下載 PDF。

一般參考架構

Lakehouse 的一般參考架構

下載：Databricks 的泛型 Lakehouse 參考架構（PDF）

參考架構的組織

參考架構會沿著泳道來源、擷取、轉換、查詢和程式、服務、分析和 儲存體 進行結構化：

來源

此架構區分半結構化和非結構化數據（感測器和IoT、媒體、檔案/記錄），以及結構化數據（RDBMS、商務應用程式）。 SQL 來源（RDBMS）也可以透過 Lakehouse 同盟整合至 Lakehouse 和 Unity 目錄，而不需要 ETL。此外，數據可能會從其他雲端提供者載入。
攝取

數據可以透過批次或串流擷取到 Lakehouse：
- 傳遞至雲端記憶體的檔案可以直接使用 Databricks 自動載入器來載入。
- 針對從企業應用程式將數據批次擷取到 Delta Lake，Databricks Lakehouse 依賴搭配特定配接器來擷取這些記錄系統的合作夥伴內嵌工具。
- 串流事件可以直接從事件串流系統內嵌，例如使用 Databricks 結構化串流處理來擷取 Kafka。串流來源可以是感測器、IoT 或異動數據擷取程式。
Storage

數據通常會儲存在雲端儲存系統中，其中 ETL 管線會使用獎章架構，以策展方式儲存數據，作為 Delta 檔案/資料表。
轉換和 查詢和處理

Databricks Lakehouse 會針對所有轉換和查詢使用其引擎 Apache Spark 和 Photon 。

由於簡單起見，宣告式架構 DLT （Delta Live Tables）是建置可靠、可維護且可測試的數據處理管線的絕佳選擇。

Databricks Data Intelligence Platform 由 Apache Spark 和 Photon 提供，可支援這兩種類型的工作負載：透過 SQL 倉儲進行 SQL 查詢，以及透過工作區叢集的 SQL、Python 和 Scala 工作負載。

對於數據科學（ML 模型化和 Gen AI），Databricks AI 和機器學習平臺提供適用於 AutoML 和編碼 ML 作業的特製化 ML 運行時間。 MLflow 最能支援所有數據科學和 MLOps 工作流程。
服務

針對 DWH 和 BI 使用案例，Databricks Lakehouse 會提供 Databricks SQL、由 SQL 倉儲和無伺服器 SQL 倉儲提供的數據倉儲。

針對機器學習服務，模型服務是可調整、即時、企業級的模型，其服務功能裝載於 Databricks 控制平面中。

操作資料庫：外部系統，例如操作資料庫，可用來儲存和傳遞最終數據產品給用戶應用程式。

共同作業：商務合作夥伴可透過 Delta Sharing 安全地存取所需的數據。根據差異共用， Databricks Marketplace 是交換數據產品的開放論壇。
分析

最終的商業應用程式位於此泳道中。範例包括自定義用戶端，例如連線至 Databricks 模型服務的 AI 應用程式，以進行即時推斷，或存取從 Lakehouse 推送至操作資料庫之數據的應用程式。

針對 BI 使用案例，分析師通常會使用 BI 工具來存取數據倉儲。 SQL 開發人員也可以另外使用 Databricks SQL 編輯器（未顯示在圖表中）進行查詢和儀錶板。

Data Intelligence Platform 也提供儀錶板來建置數據視覺效果並共用見解。

工作負載的功能

此外，Databricks Lakehouse 隨附可支援所有工作負載的管理功能：

數據和 AI 治理

Databricks Data Intelligence Platform 中的中央數據和 AI 治理系統是 Unity 目錄。 Unity 目錄提供單一位置來管理適用於所有工作區的數據存取原則，並支援在 Lakehouse 中建立或使用的所有資產，例如數據表、磁碟區、功能（功能存放區）和模型（模型登錄）。 Unity 目錄也可以用來擷取在 Databricks 上執行的查詢之間的運行時間數據歷程。

Databricks Lakehouse 監視可讓您監視帳戶中所有數據表中的數據品質。它也可以追蹤機器學習模型和模型服務端點的效能。

針對可觀察性，系統數據表是帳戶作業數據的 Databricks 裝載分析存放區。系統數據表可用於帳戶的歷程記錄可觀察性。
數據智能引擎

Databricks Data Intelligence Platform 可讓整個組織使用數據和 AI。它由 DatabricksIQ 提供技術支援，並結合產生 AI 與 Lakehouse 的統一優點，以了解數據的獨特語意。

Databricks Assistant 可在 Databricks 筆記本、SQL 編輯器和檔案編輯器中取得，做為開發人員的內容感知 AI 助理。
協調流程

Databricks 工作流程會在 Databricks Data Intelligence Platform 上協調數據處理、機器學習和分析管線。工作流程已完全受控協調流程服務整合到 Databricks 平臺，包括 Databricks 作業，以在 Databricks 工作區和 Delta Live Tables 中執行非互動式程式代碼，以建置可靠且可維護的 ETL 管線。

Azure 上的 Data Intelligence Platform 參考架構

Azure Databricks 參考架構衍生自泛型參考架構，方法是新增來源、內嵌、服務、分析/輸出和儲存體元素的 Azure 特定服務。

Azure Databricks Lakehouse 的參考架構

下載：Azure 上 Databricks lakehouse 的參考架構

Azure 參考架構顯示下列適用於內嵌、儲存體、服務和分析/輸出的 Azure 特定服務：

Azure Synapse 和 SQL Server 作為 Lakehouse 同盟的來源系統
用於串流內嵌的 Azure IoT 中樞和 Azure 事件中樞
用於批次內嵌的 Azure Data Factory
Azure Data Lake 儲存體 Gen 2 （ADLS）作為物件記憶體
Azure SQL DB 和 Azure Cosmos DB 作為操作資料庫
Azure Purview 作為 UC 將匯出架構和譜系資訊的企業目錄
Power BI 作為 BI 工具

注意

此參考架構檢視僅著重於 Azure 服務和 Databricks Lakehouse。 Databricks 上的 Lakehouse 是一個開放平臺，可與合作夥伴工具的大型生態系統整合。
顯示的雲端提供者服務並不詳盡。系統會選取它們來說明概念。

使用案例：Batch ETL

Azure Databricks 上的批次 ETL 參考架構

下載：適用於 Azure Databricks 的 Batch ETL 參考架構

擷取工具會使用來源特定的配接器來讀取來源的數據，然後儲存在雲端記憶體中，自動載入器可以從中讀取數據，或直接呼叫 Databricks （例如，合作夥伴內嵌工具整合到 Databricks Lakehouse 中）。若要載入數據，Databricks ETL 和處理引擎會透過 DLT 執行查詢。單一或多任務作業可由 Databricks 工作流程協調，並由 Unity 目錄管理（存取控制、稽核、譜系等等）。如果低延遲的操作系統需要存取特定的黃金數據表，則可以匯出至作業資料庫，例如 ETL 管線結尾的 RDBMS 或索引鍵/值存放區。