管線開發人員參考

本節包含管線開發人員的參考和指示。

資料載入和轉換是由定義串流資料表和具體化檢視的查詢在管線中實作。 為了實作這些查詢，Lakeflow Spark 宣告式管線支援 SQL 與 Python 介面。 由於這些介面為大部分數據處理使用案例提供同等的功能，管線開發人員可以選擇最熟悉的介面。

Python 開發

用 Python 程式碼建立管線。

主題	Description
使用 Python 開發管線程式碼	Python 管線開發概述。
Lakeflow Spark 宣告式流水線Python語言參考	Python pipelines 模組的參考文件。
管理流程的 Python 相依性	管理管線中 Python 函式庫的說明。
從 Git 資料夾或工作區檔案匯入Python模組	使用你存放在 Azure Databricks 裡的 Python 模組的說明。

SQL開發

使用 SQL 程式碼建立管線。

主題	Description
開發使用 SQL 的 Lakeflow Spark 宣告式管線程式碼	在 SQL 中開發管線的概觀。
管道 SQL 語言參考	Lakeflow Spark 宣告式管線 SQL 語法的參考檔。
在 Databricks SQL 中使用管線	使用 Databricks SQL 來處理管線。

其他開發主題

下列主題說明開發管線的其他方法。

主題	Description
將管線轉換成套件專案	將現有管線轉換為套件組合，這可讓您在原始檔控制的 YAML 檔案中管理資料處理組態，以便更輕鬆地維護和自動部署至目標環境。
使用 Lakeflow Spark 宣告式管線進行元程式設計	用 dlt-meta 建立管線。 使用 open source dlt-meta 函式庫，自動化建立以元資料驅動的流程框架。 教學：建立多個不同參數的流程。 用 Python 建立多個循環流程。
在本機開發環境中開發管線程式碼	本機管線開發選項的概述。