name (DataStreamReader)

为流式处理源分配一个名称,以便进行检查点演变。 这允许流式处理查询通过使源重新排序或添加而不中断检查点兼容性来发展。 启用源演变后,必须命名查询中的所有源。

Syntax

name(source_name)

参数

参数 类型 说明
source_name str 此流式处理源的名称。 必须仅包含 ASCII 字母(a-z、A-Z)、数字(0-9)和下划线(_)。

退货

DataStreamReader

备注

需要通过 spark.sql.streaming.enableSourceEvolution 配置启用流式处理源演变。

示例

命名两个源并联合它们:

df1 = spark.readStream.format("rate").name("source1").load()
df2 = spark.readStream.format("rate").name("source2").load()
query = df1.union(df2).writeStream.format("console").start()

有效且无效的源名称:

# Valid names
spark.readStream.format("rate").name("mySource").load()
spark.readStream.format("rate").name("my_source_123").load()

# Invalid name — raises AnalysisException
spark.readStream.format("rate").name("my-source").load()