管理 Delta Live Tables 管道的配置

由于 Delta Live Tables 可自动处理基础结构管理、任务协调、错误恢复和性能优化等复杂操作,因此许多管道只需最少的手动配置即可运行。 但是,Delta Live Tables 还允许管理需要非默认配置的管道的配置,或优化性能和资源使用情况。 这些文章提供有关管理 Delta Live Tables 管道配置的详细信息,包括确定管道运行方式的设置、运行管道的计算选项以及外部依赖项(例如 Python 库)的管理。

管理管道设置

Delta Live Tables 管道的配置包括定义实现管道的源代码的设置。 还包括用于控制管道基础结构、依赖项管理、如何处理更新以及如何在工作区中保存表的设置。 大多数配置都是可选的,但有些配置需要特别注意。

要了解管道的配置选项以及如何使用它们,请参阅为增量实时表配置管道设置

有关增量实时表设置、控制表管理方式的属性和非可设置的计算选项的详细规范,请参阅 Delta Live Tables 属性参考

管理使用 Python 的管道的外部依赖项

Delta Live Tables 支持在管道中使用外部依赖项,例如 Python 包和库。 要了解有关使用依赖项的选项和建议,请参阅管理 Delta Live Tables 管道的 Python 依赖项

使用存储在 Azure Databricks 工作区中的 Python 模块

除了在 Databricks 笔记本中实现 Python 代码外,还可以使用 Databricks Git 文件夹或工作区文件将代码存储为 Python 模块。 想要在多个管道或同一管道中的多个笔记本中使用通用功能时,将代码存储为 Python 模块特别有用。 要了解如何将 Python 模块与管道配合使用,请参阅从 Git 文件夹或工作区文件导入 Python 模块

优化管道计算利用率

使用增强型自动缩放来优化管道的群集利用率。 仅当系统确定这些资源可以提高管道处理速度时,增强型自动缩放才会添加额外的资源。 不再需要的资源会被释放;一旦所有管道更新完成,群集就会立即关闭。

要详细了解增强型自动缩放(包括配置详细信息),请参阅使用增强型自动缩放优化 Delta Live Tables 管道的群集利用率