结构化数据流处理的概念

Apache Spark 结构化流处理允许你使用与批处理相同的 Spark API 构建流应用和流水线。 在 Azure Databricks 上,它支持两种处理模式:

  • 实时模式(RTM):设计用于亚秒级的操作负载,如欺诈检测和实时个性化。 RTM在记录到达时处理记录,端到端延迟低至5毫秒。 参见 实时模式概念。
  • 微批处理模式:设计用于分析流水线及提取、转换和加载(ETL)工作负载。 微批处理模式以小批次处理流数据,在计算成本与以秒或分钟计的延迟需求之间取得平衡。 微批量处理是默认模式。

这两种模式都使用相同的结构化流媒体API。 对于两种模式都支持的查询,你可以通过触发器和计算配置切换模式。 请参阅 “设置实时模式”。

结构化流还为基于 Apache Spark™ 声明式管道构建的 Lakeflow 管道中的流式处理提供支持。 管道管理编排、检查点和恢复,你用SQL或Python定义转换。

有关分步教程,请参阅 运行您的第一个结构化流式处理工作负载的步骤。

从数据流读取

使用结构化流式处理以增量方式引入受支持数据源中的数据。

功能 说明
自动加载程序 随着新数据文件到达云存储,增量式且高效地处理它们。
Delta Lake 表流式读取和写入 使用 Delta Lake 表作为流式处理源和接收器,并提供一次性处理保证。
SQL 和 Spark API 通过SQL和Spark API连接消息总线、队列和企业应用。
微批大小 限制输入速率以保持一致的批大小并防止处理延迟。

写入到数据接收器

配置结构化流式处理如何将数据传送到目标系统。

功能 说明
检查点 存储处理状态以启用容错和一次性传递语义。
输出模式 可以选择追加、更新和完成模式来处理有状态流式查询。
触发器间隔 设置触发器间隔以平衡处理要求的延迟和成本。
结构化流式处理中的实时模式 处理实时工作负载的数据,端到端延迟低至 5 毫秒。

有状态和无状态处理

无状态查询在不保留状态的情况下处理行。 有状态查询维护聚合、联接和删除重复的中间状态。

功能 说明
无状态流式处理查询 优化在不保持中间状态的情况下处理数据的查询。
水印 控制结构化流式处理在有状态操作中等待延迟到达的数据的时间。
有状态流式处理 使用状态运算符来管理聚合、流与流连接及重复数据删除。

监视和管理

跟踪查询性能、应用优化并管理生产结构化流媒体工作负载中的数据访问。

功能 说明
使用 StreamingQueryListener 进行监视 使用 Spark UI 和侦听器 API 跟踪查询进度和性能指标。
教程:使用 StreamingQueryListener 监控查询 附加监听器,并将查询进度指标记录到 Unity Catalog 表中。
使用 Unity 目录进行治理 使用治理和访问控制为流式处理工作负荷配置 Unity Catalog。