DLT 版本 2022.49

2022 年 12 月 6 日至 9 日

这些功能和改进随 2022.49 版 DLT 一起发布。

此版本使用的 Databricks Runtime 版本

渠道：

现在可以将 Databricks Git 文件夹中的文件作为 Python 模块导入。可以使用 sys.path.append() 从当前存储库路径或指定的存储库路径导入文件。

增强型自动缩放现已正式发布。在此版本中，增强型自动缩放是在 UI 中创建的新管道的默认自动缩放模式。 Databricks 建议将使用现有群集自动缩放的管道更新为使用增强型自动缩放。

对于在连续模式下运行的管道，发生可重试失败时，默认重试限制现在为 2。包括原始尝试在内，所有流都有三次尝试（指数退避）在发生非致命失败时运行。以前，批处理流的默认值为无限制重试，流式处理流的默认值为五次重试。

配置参数 pipelines.maxFlowRetryAttempts 现在应用于所有流的重试限制，包括批处理和流式处理流，以及连续或触发的管道。以前，pipelines.maxFlowRetryAttempts 应用于触发模式下的所有重试限制，但仅应用于连续模式下的批处理流；连续模式下流式处理管道的重试次数由 pipelines.numStreamRetryAttempts 控制。对于现有管道，pipelines.numStreamRetryAttempts 继续支持连续模式下的流式处理流。如果同时设置了 pipelines.numStreamRetryAttempts 和 pipelines.maxFlowRetryAttempts，则 pipelines.numStreamRetryAttempts 优先处理连续模式下的流式处理流。否则，将使用 pipelines.maxFlowRetryAttempts 的配置值。请参阅 Lakeflow 声明性管道属性参考指南。