為檢查點演化的串流來源分配名稱。 這使得串流查詢能夠演進,允許重新排序或新增來源而不破壞檢查點相容性。 啟用來源演化時,查詢中的所有來源都必須被命名。
語法
name(source_name)
參數
| 參數 | 類型 | 說明 |
|---|---|---|
source_name |
str | 這個串流來源的名稱。 必須只包含 ASCII 字母(a-z、A-Z)、數字(0-9)及底線(_)。 |
退貨
DataStreamReader
Notes
需要透過 spark.sql.streaming.enableSourceEvolution 設定啟用串流來源演化。
Examples
說出兩個來源並將它們合併:
df1 = spark.readStream.format("rate").name("source1").load()
df2 = spark.readStream.format("rate").name("source2").load()
query = df1.union(df2).writeStream.format("console").start()
有效與無效的來源名稱:
# Valid names
spark.readStream.format("rate").name("mySource").load()
spark.readStream.format("rate").name("my_source_123").load()
# Invalid name — raises AnalysisException
spark.readStream.format("rate").name("my-source").load()