foreach_sink

@dp.foreach_sink()装饰器定义一个ForEach汇,用自定义的 Python 逻辑逐行处理流。 你在附加流程或更新流程中引用汇入target数据来写入数据。 关于概念指导、考虑和示例,请参见 “使用 ForEach 汇入槽来写入管道中的每一行”。 如需将每个微批处理为数据帧,请参见 foreach_batch_sink。

Syntax

要从函数定义汇, ForEach 可以用 装饰 @dp.foreach_sink()函数:

from pyspark import pipelines as dp

@dp.foreach_sink(name="<name>")
def row_handler(row):
    """
    Required:
      - `row`: a Row that contains one record of the stream.
    """
    # Your custom write logic here.
    # This function runs on the executors, so import any libraries it uses inside the function.

要从写入对象定义ForEach一个sink,调用dp.foreach_sink()并传递该对象,参数为:writer

from pyspark import pipelines as dp

class RowWriter:
    def open(self, partition_id, epoch_id):
        # Optional. Return False to skip the rows of this partition.
        return True

    def process(self, row):
        # Required. Called for each row.
        ...

    def close(self, error):
        # Optional. `error` is None if processing succeeded.
        ...

dp.foreach_sink(name="<name>", writer=RowWriter())

你也可以用参数传递函数到 dp.foreach_sink()func ,而不是用 decorator,比如 dp.foreach_sink(name="<name>", func=row_handler)。

Parameters

Parameter Description
行 Required. Row A 包含一条流的记录。 你的函数,或者 process 说写入方法,每次调用都会获得一行。
name Optional. 用于标识管道中的接收器的唯一名称。 默认使用函数名称。 对于写作者对象,默认使用小写的类名。
func Optional. 管道为每一行调用的函数。 当你直接打电话时dp.foreach_sink()使用func,而不是作为装饰师。 你不能同时 func 通过和 writer。
writer Optional. 一个实现 process(row) 该方法的对象,也可以选择 open(partition_id, epoch_id) 实现和 close(error) 方法。 把它当作关键词论证传递。 你不能同时 func 通过和 writer。

写字方法

写作者对象使用与Apache Spark结构化流式流 foreach 写入相同的方法。 对于每个微批次的每个分区,流水线调用 ,然后如果返回 True,则调用每行,接着调用 close。openprocessopen 关于在结构化流中编写自定义输出的信息,请参见 使用 foreachBatch 写入任意数据汇。

方法 Description
open(partition_id, epoch_id) Optional. 流水线在处理微批处理分区行之前调用此方法。 用它来开启连接或启动交易。 返回 True 处理分区的行,或 False 跳过它们。 如果写入者没有定义 open,流水线将处理每个分区的行。 partition_id 并且 epoch_id 可以在写入同一汇和完全刷新后的流中重复。 在用它们去重行之前,请参见 “处理失败和重复行”。
process(row) Required. 流水线对每一行调用此方法。
close(error) Optional. 流水线在处理分区的行后调用该方法。 error 是处理行时发生的例外,或 None 处理成功时的例外。 用它来拉近关系。 如果 open 开始了一项事务,只有在 error 时 None才提交,否则回滚。