Lakeflow 管道 Python 语言参考

Lakeflow 管道的 Python 接口定义在 pyspark.pipelines 模块中,并作为 dp 导入。

该模块提供了用于定义数据集、流程、接收器和数据质量期望的装饰器和函数。 无服务器管道 运行这些定义时,无需配置集群。

pipelines 模块概述

Lakeflow 管道 Python 函数是在 pyspark.pipelines 模块中定义的(作为 dp 导入)。 使用 Python API 实现的管道必须导入此模块:

from pyspark import pipelines as dp

注释

大多数管道模块仅在管道上下文中可用。 有关编辑管道代码的详细信息,请参阅 使用 Lakeflow 管道编辑器开发和调试 ETL 管道。

你也可以在流水线之外,在使用无服务器通用计算的笔记本中应用 @materialized_view 和 @table,以定义独立的物化视图或流表。 参见 “定义带有管道装饰器的表格”。

Apache Spark™ 管道

Apache Spark 包括从 Spark 4.1 开始的 声明性管道 ,可通过模块 pyspark.pipelines 使用。 Databricks Runtime 使用其他 API 和集成扩展这些开源功能,以供托管生产使用。

使用开源 pipelines 模块编写的代码在 Azure Databricks 上运行,无需修改。 以下功能不属于 Apache Spark:

  • dp.create_auto_cdc_flow
  • dp.create_auto_cdc_from_snapshot_flow
  • @dp.expect(...)

该 pipelines 模块以前在 Azure Databricks 中称为 dlt。 如需详细信息以及更多关于与 Apache Spark 的差异的信息,请参阅 发生了什么 @dlt?。

用于定义数据集的函数

管道使用 Python 修饰器来定义具体化视图和流式处理表等数据集。 请参阅 Functions 来定义数据集。

API 参考

Python 管道的编码要求

在使用 Python 接口实现管道时,以下是几个重要要求:

  • 流水线在规划和运行过程中会多次评估其源代码。 定义数据集的 Python 函数应仅包含定义表或视图所需的代码。 数据集定义中包含的任意 Python 逻辑可能会导致意外行为。
  • 不要尝试在数据集定义中实现自定义监视逻辑。 请参阅使用事件挂钩定义管道的自定义监视。
  • 用于定义数据集的函数必须返回 Spark 数据帧。 不要在数据集定义中包含与返回的数据帧无关的逻辑。
  • 切勿使用将文件或表保存或写入到管道数据集代码中的方法。

绝不能在管道代码中使用的 Apache Spark 操作示例:

  • collect()
  • count()
  • toPandas()
  • save()
  • saveAsTable()
  • start()
  • toTable()

发生了什么事 @dlt?

以前,Azure Databricks 使用 dlt 模块来支持管道功能。 模块 dlt 已替换为该 pyspark.pipelines 模块。 你仍然可以使用 dlt,但 Databricks 建议使用 pipelines。

DLT、Lakeflow管道和Apache Spark™声明式管道的区别

下表展示了DLT、Lakeflow管道和Apache Spark™声明式管道在语法和功能的差异。

关于 Lakeflow 管道与 Apache Spark™ 声明式管道的共有之处及新增内容的功能级比较,请参见 Apache Spark 声明式管道。

要了解管道配置到 SDP 项目规范的逐项属性映射,请参阅 管道属性参考。

注释

在 Databricks 文档中,Databricks 产品称为 Lakeflow pipelines,而它扩展的 Apache Spark 项目则称为 Apache Spark™ Declarative Pipelines(SDP)。 两者是互操作的,但功能有所不同。 例如,这些 AUTO CDC API 仅在 Lakeflow 管道中可用。

Area DLT 语法 SDP 语法(如适用: Lakeflow 和 Apache) 在 Apache Spark 中可用
导入 import dlt from pyspark import pipelines (as dp(可选) 是的
流式处理表 具有流式处理数据帧的 @dlt.table @dp.table 是的
具体化视图 具有批处理数据帧的 @dlt.table @dp.materialized_view 是的
视图 @dlt.view @dp.temporary_view 是的
追加流 @dlt.append_flow @dp.append_flow 是的
更新流程 不可用 @dp.update_flow 否
SQL - 流式处理 CREATE STREAMING TABLE ... CREATE STREAMING TABLE ... 是的
SQL – 具体化 CREATE MATERIALIZED VIEW ... CREATE MATERIALIZED VIEW ... 是的
SQL - 数据流 CREATE FLOW ... CREATE FLOW ... 是的
事件日志 spark.read.table("event_log") spark.read.table("event_log") 否
应用更改 (CDC) dlt.apply_changes(...) dp.create_auto_cdc_flow(...) 否
Expectations @dlt.expect(...) dp.expect(...) 否
连续模式 使用连续触发器的管道配置 使用连续触发器的管道配置 否
Sink @dlt.create_sink(...) dp.create_sink(...) 是的
ForEachBatch 水槽 不可用 @dp.foreach_batch_sink(...) 否
ForEach 水槽 不可用 @dp.foreach_sink(...) 否