分享方式:


管理 Delta Live Tables 管線的設定

因為 Delta Live Tables 會將基礎結構管理、工作協調流程、錯誤復原和效能優化等作業複雜度自動化,因此許多管線都可以以最少的手動設定來執行。 不過,Delta Live Tables 也可讓您管理需要非預設設定的管線設定,或優化效能和資源使用量。 這些文章提供管理 Delta Live Tables 管線設定的詳細數據,包括決定管線執行方式的設定、執行管線之計算的選項,以及管理外部相依性,例如 Python 連結庫。

使用無伺服器計算來執行完全受控管線

使用無伺服器 DLT 管線來執行具有可靠且完全受控計算資源的管線。 使用無伺服器計算,執行管線的計算會根據執行管線所需的資源自動優化和相應增加和相應減少。 無伺服器 DLT 管線支援其他功能來改善效能,例如具體化檢視的累加式重新整理、計算資源的啟動時間加快,以及改善串流工作負載的處理。 請參閱 使用 Delta Live Tables 搭配無伺服器計算來建立完全受控的管線。

管理管線設定

Delta Live Tables 管線的組態包括定義實作管線之原始程式碼的設定。 它也包含控制管線基礎結構、相依性管理、更新處理方式,以及數據表儲存在工作區中的設定。 大部分的組態都是選擇性的,但有些組態需要謹慎注意。

若要瞭解管線的組態選項及其使用方式,請參閱 設定 Delta Live Tables 的管線設定。

如需 Delta Live Tables 設定的詳細規格、控制數據表管理方式的屬性,以及無法設定的計算選項,請參閱 Delta Live Tables 屬性參考

管理使用 Python 之管線的外部相依性

Delta Live Tables 支援在管線中使用外部相依性,例如 Python 套件和連結庫。 若要瞭解使用相依性的選項和建議,請參閱 管理 Delta Live Tables 管線的 Python 相依性。

使用儲存在 Azure Databricks 工作區中的 Python 模組

除了在 Databricks 筆記本中實作 Python 程式代碼之外,您還可以使用 Databricks Git 資料夾或工作區檔案,將您的程式代碼儲存為 Python 模組。 當您在相同管線的多個管線或筆記本中使用通用功能時,將程式代碼儲存為 Python 模組特別有用。 若要瞭解如何搭配管線使用 Python 模組,請參閱 從 Git 資料夾或工作區檔案匯入 Python 模組。

優化管線計算使用率

使用增強型自動調整來優化管線的叢集使用率。 只有在系統判斷這些資源會增加管線處理速度時,增強的自動調整才會增加資源。 不再需要資源時會釋出,而且叢集會在所有管線更新完成時立即關閉。

若要深入瞭解增強型自動調整,包括組態詳細數據,請參閱 使用增強型自動調整優化差異實時數據表管線的叢集使用率。