使用 Azure Databricks 設計和實作資料管線

  • 模組
  • 10 單位
中級
資料工程師
Azure Databricks

學習如何在 Azure Databricks 中設計並實作強大的資料管線，使用筆記本與 Lakeflow 管線，涵蓋編排、錯誤處理與任務邏輯。

學習目標

在本模組結束時，您將能夠：

  • 設計資料管線從擷取到服務的操作順序。
  • 根據使用情境，在筆記本和 Lakeflow 管線之間選擇。
  • 設計 Lakeflow Jobs 的任務邏輯、相依性與執行模式。
  • 實施錯誤處理策略，包括重試政策與期望。
  • 同時使用筆記本和 Lakeflow 管道來建立資料管線。

必要條件

以下先決條件應完成：

  • 對 Azure Databricks 工作區的基本了解
  • 熟悉 Unity 目錄的基本原理與治理概念
  • SQL 與資料組織原則的知識
開始