管線開發人員參考

本節包含管線開發人員的參考和指示。

資料載入和轉換是由定義串流資料表和具體化檢視的查詢在管線中實作。 為了實現這些查詢，Lakeflow Spark 宣告式管線支援 SQL 和 Python 介面。 由於這些介面為大部分數據處理使用案例提供同等的功能，管線開發人員可以選擇最熟悉的介面。

Python 開發

使用 Python 程式碼建立管線。

主題	Description
使用 Python 開發管線程式代碼	在 Python 中開發管線的概述。
Lakeflow Spark 宣告式工作流 Python 語言指南	Python 模組的 pipelines 參考文件。
管理管線的 Python 依賴項	在管線中管理 Python 程式庫的指示。
從 Git 資料夾或工作區檔案匯入 Python 模組	使用您儲存在 Azure Databricks 中的 Python 模組的指示。

SQL開發

使用 SQL 程式碼建立管線。

主題	Description
開發使用 SQL 的 Lakeflow Spark 宣告式管線程式碼	在 SQL 中開發管線的概觀。
管道 SQL 語言參考	Lakeflow Spark 宣告式管線 SQL 語法的參考檔。
在 Databricks SQL 中使用管線	使用 Databricks SQL 來處理管線。

其他開發主題

下列主題說明開發管線的其他方法。

主題	Description
將管線轉換成 Databricks 資產套件組合專案	將現有管線轉換為套件組合，這可讓您在原始檔控制的 YAML 檔案中管理資料處理組態，以便更輕鬆地維護和自動部署至目標環境。
使用 dlt-meta 建立管線	使用開放原始碼 dlt-meta 程式庫，透過中繼資料驅動架構自動建立管線。
在本機開發環境中開發管線程式碼	本機管線開發選項的概述。