設計並實作使用 Azure Databricks 的資料模型化

  • 模組
  • 14 單位
中級
資料工程師
Azure Databricks

有效的資料模型化是效能良好且易於維護的資料平台基礎。 本模組探討如何在具有 Unity 目錄的 Azure Databricks 中設計資料擷取邏輯、選取合適的工具和資料表格式、實作分割區結構描述、管理緩時變維度、選擇合適的資料細微度以及透過叢集策略最佳化資料表效能。

學習目標

在本模組結束時，您將能夠：

  • 設計資料擷取邏輯並設定資料來源連線
  • 選擇適合您情境的資料擷取工具
  • 你可以選擇 Delta Lake、Apache Iceberg 或其他表格格式
  • 設計並實施有效的資料分割方案
  • 選擇並實作緩慢變化的維度類型
  • 設計與實作用於變更追蹤與稽核的時態表
  • 為事實表和維度表選擇合適的資料粒度
  • 設計並實作查詢優化的聚類策略
  • 評估何時使用管理資料表與外部資料表

必要條件

以下先決條件應完成：

  • Azure Databricks workspaces 與 Unity Catalog 的基本知識
  • 熟悉 SQL 與資料倉儲概念
  • 三角洲湖基本原理的知識
開始