將資料匯入 Unity 目錄
中級
資料工程師
Azure Databricks
資料擷取是任何資料平台的基本功能。 本模組探討 Azure Databricks 中用於將資料載入 Unity 目錄資料表的完整技術。 你將學習如何使用 Lakeflow Connect 的管理連接器、在筆記本中撰寫自訂擷取程式碼、套用 SQL 指令進行批次檔案載入、處理變更資料擷取資料饋送、設定訊息匯流排的串流擷取、設定 Auto Loader 以進行自動檔案偵測，以及使用 Lakeflow 管線協調擷取工作流程。
學習目標
在本模組結束時，您將能夠：
- 設定 Lakeflow Connect 以利用受管理連接器從外部來源擷取資料
- 使用 DataFrame 與結構化串流的筆記本擷取批次與串流資料
- 使用像 COPY INTO 和 CREATE TABLE AS SELECT 這類 SQL 指令來進行檔案式擷取
- 使用 AUTO CDC API 處理變更資料擷取串流
- 配置 Spark 結構化串流以實現 Kafka 與事件中心的即時資料擷取
- 設定 Auto Loader 自動偵測並處理結構演進的新檔案
- 利用 Lakeflow 管線協調資料攝取工作流程
必要條件
必須完成下列必要條件：
- Azure Databricks 與 Unity Catalog 概念的基本理解
- 熟悉 SQL 與 Python 程式設計
- 了解資料工程概念，如批次處理與串流