STATE_REPARTITION_INVALID_CHECKPOINT错误条件

SQLSTATE:55019

提供的检查点位置“”<checkpointLocation>处于无效状态。

最后一批废弃的重新分区

最后一个批次 ID <lastBatchId> 是具有 <lastBatchShufflePartitions> 重新分配分区的再分配批次,但未成功完成。

现在,你请求重新分区为 <numPartitions> 洗牌分区。

请重试时使用与上一次尝试相同的洗牌分区数。

成功完成后,可以重新分区到其他数量的随机分区。

最后一批处理失败

最后一批 ID <lastBatchId> 未成功完成。 在重新分区之前,请确保流式查询成功完成。

如果使用 ProcessingTime 触发器,则可以改用 AvailableNow 触发器,这将确保查询本身成功终止。

如果要跳过此检查,请将 enforceExactlyOnceSink 参数设置为 false。

使用恰好一次的接收器时,这可能会导致失败批处理中出现重复输出记录。

缺少偏移序列元数据

OffsetSeq (v<version>)元数据缺失于批次 ID <batchId>。 请确保检查点来自受支持的 Spark 版本(Spark 4.0+)或 DBR 14.3+。

未找到批次

检查点位置中未记录任何微批处理。 在重新分区之前,请确保流式处理查询已成功完成至少一个微分包。

NO_COMMITTED_BATCH

没有提交的微批次。 在重新分区之前,请确保流式处理查询已成功完成至少一个微分包。

OFFSET_SEQ_NOT_FOUND

找不到批 ID <batchId> 的偏移序列条目。 你可能已经为某个参数设置了一个非常低的值

在流式处理查询执行期间配置‘spark.sql.streaming.minBatchesToRetain’,或者删除了检查点位置中的文件时。

洗牌分区已匹配

上次提交的批处理(id=<batchId>)中的随机分区数与请求 <numPartitions> 的分区相同。

已经具有请求的分区数量,因此无操作。

UNSUPPORTED_COMMIT_METADATA_VERSION (不支持的提交元数据版本)

不支持的提交元数据版本 <version>。 请确保检查点来自受支持的 Spark 版本(Spark 4.0+)或 DBR 14.3+。

不支持的偏移序列版本

不支持的偏移序列版本 <version>。 请确保检查点来自受支持的 Spark 版本(Spark 4.0+)或 DBR 14.3+。

UNSUPPORTED_PROVIDER

<provider> 不支持