@dp.foreach_sink()装饰器定义一个ForEach汇,用自定义的 Python 逻辑逐行处理流。 你在附加流程或更新流程中引用汇入target数据来写入数据。 关于概念指导、考虑和示例,请参见 “使用 ForEach 汇入槽来写入管道中的每一行”。 如需将每个微批处理为数据帧,请参见 foreach_batch_sink。
Syntax
要从函数定义汇, ForEach 可以用 装饰 @dp.foreach_sink()函数:
from pyspark import pipelines as dp
@dp.foreach_sink(name="<name>")
def row_handler(row):
"""
Required:
- `row`: a Row that contains one record of the stream.
"""
# Your custom write logic here.
# This function runs on the executors, so import any libraries it uses inside the function.
要从写入对象定义ForEach一个sink,调用dp.foreach_sink()并传递该对象,参数为:writer
from pyspark import pipelines as dp
class RowWriter:
def open(self, partition_id, epoch_id):
# Optional. Return False to skip the rows of this partition.
return True
def process(self, row):
# Required. Called for each row.
...
def close(self, error):
# Optional. `error` is None if processing succeeded.
...
dp.foreach_sink(name="<name>", writer=RowWriter())
你也可以用参数传递函数到 dp.foreach_sink()func ,而不是用 decorator,比如 dp.foreach_sink(name="<name>", func=row_handler)。
Parameters
| Parameter | Description |
|---|---|
| 行 | Required.
Row A 包含一条流的记录。 你的函数,或者 process 说写入方法,每次调用都会获得一行。 |
| name | Optional. 用于标识管道中的接收器的唯一名称。 默认使用函数名称。 对于写作者对象,默认使用小写的类名。 |
| func | Optional. 管道为每一行调用的函数。 当你直接打电话时dp.foreach_sink()使用func,而不是作为装饰师。 你不能同时 func 通过和 writer。 |
| writer | Optional. 一个实现 process(row) 该方法的对象,也可以选择 open(partition_id, epoch_id) 实现和 close(error) 方法。 把它当作关键词论证传递。 你不能同时 func 通过和 writer。 |
写字方法
写作者对象使用与Apache Spark结构化流式流 foreach 写入相同的方法。 对于每个微批次的每个分区,流水线调用 ,然后如果返回 True,则调用每行,接着调用 close。openprocessopen 关于在结构化流中编写自定义输出的信息,请参见 使用 foreachBatch 写入任意数据汇。
| 方法 | Description |
|---|---|
open(partition_id, epoch_id) |
Optional. 流水线在处理微批处理分区行之前调用此方法。 用它来开启连接或启动交易。 返回 True 处理分区的行,或 False 跳过它们。 如果写入者没有定义 open,流水线将处理每个分区的行。
partition_id 并且 epoch_id 可以在写入同一汇和完全刷新后的流中重复。 在用它们去重行之前,请参见 “处理失败和重复行”。 |
process(row) |
Required. 流水线对每一行调用此方法。 |
close(error) |
Optional. 流水线在处理分区的行后调用该方法。
error 是处理行时发生的例外,或 None 处理成功时的例外。 用它来拉近关系。 如果 open 开始了一项事务,只有在 error 时 None才提交,否则回滚。 |