Fabric 中的 Apache Spark 运行时生命周期

Microsoft Fabric 运行时是一个基于 Apache Spark 的 Azure 集成平台。 它有助于执行和管理数据工程和数据科学工作流。 它合成专有和开放源代码资源中的基本元素,来提供全面的解决方案。 为简便起见,将由Apache Spark驱动的Microsoft Fabric Runtime简称为Fabric Runtime。

Note

本文介绍了Apache Spark运行时的生命周期。 它不涵盖 Python 笔记本内核,后者遵循独立的生命周期。 关于Python笔记本内核生命周期,请参见Fabric中的Python笔记本运行时和内核生命周期

发布频率

Apache Spark 通常每六到九个月发布一次小版本。 Microsoft Fabric Spark 团队致力于快速交付新的运行时版本,同时确保最高质量、集成和持续支持。 每个版本包含大约 110 个组件。 随着该运行时扩展到 Apache Spark 之外,团队确保其能够在 Azure 生态系统内实现无缝集成。

团队秉持卓越的承诺,谨慎对待新的预览运行时发布。 他们计划在大约三个月后进行实验性预览,但最终会根据具体情况确定时间表。 这种方法涉及评估每个Spark版本的关键组件,包括Java、Scala、Python、R和Delta Lake。 经过全面评估,团队会制定详细的时间表,列出运行时间的可用性及各阶段的进展情况。 总体而言,目标是为Apache Spark的Microsoft Fabric运行时建立标准生命周期路径。

提示

始终对生产工作负荷使用最新的 GA 运行时版本,该版本当前为运行时 1.3

下表列出了支持的 Azure Synapse 运行时版本的运行时名称及发布日期。

运行时名称 发布阶段 终止支持日期
运行时 2.0,基于 Apache Spark 4.1 公共预览版 不適用
基于 Apache Spark 3.5 的运行时 1.3 GA 2026 年 9 月 30 日**

** 运行时间1.3将于2026年10月1日进入长期支持(LTS),为期六个月,支持期限延长至2027年3月。

关系图,其中显示了 Fabric 中的运行时生命周期。

此图概述了运行时版本从试验性公共预览版到弃用和删除阶段的生命周期。

阶段 说明 典型生命周期
试验性公共预览 试验性公共预览版阶段标志着新运行时版本的初始发布。 在此阶段,尽管存在记录限制,用户应尝试最新版本的 Apache Spark 和 Delta Lake 并提供反馈。 Microsoft Azure 预览版条款适用。 请参阅预览版使用条款 2 – 3 个月*
公共预览版 在进一步改进并尽量减少限制后,运行时间进入预览阶段。 Microsoft Azure 预览版条款适用。 请参阅预览版使用条款 3 个月*
正式发布版 (GA) 运行时版本满足正式发布 (GA) 条件后,就会向公众发布,并可用于生产工作负荷。 要达到此阶段,运行时必须在性能、与平台的集成、可靠性评估以及满足用户需求的能力方面满足严格的要求。 24 个月
长期支持 (LTS) 在正式发布(GA)之后,运行时可能会根据 Spark 版本的具体要求进入长期支持(LTS)阶段。 该LTS阶段可能会公布,详细说明客户预期的支持时长,通常是额外一年的全面支持。 12 个月*
宣布终止支持日期 当运行时达到支持结束时,将不再获得任何后续的更新或支持。 通常,在弃用运行时之前,会提前六个月发出通知。 通过更新特定表中的生命周期结束日期来记录此终止支持日期,这标志着终止支持。 弃用日前 6 个月
终止支持日期。 运行时不受支持且已弃用 到达之前宣布的终止支持日期后,运行时将正式不受支持。 这一变化意味着它不会获得任何更新或漏洞修复,团队也没有提供官方支持。 系统会自动解决所有支持工单。 使用不支持的运行时风险自负。 运行时已从 Fabric 工作区设置和“环境”项中移除,因此无法在工作区级别使用。 此外,运行时也从环境中移除,且没有选项为该运行时版本创建新环境。 现有环境中运行的现有 Spark 作业无法运行。 空值
运行时已删除 运行时到达不受支持的阶段后,将消除使用此运行时的所有环境。 还会删除与此运行时关联的所有后端相关组件。 支持终止日期后的几天

* 每个阶段的运行时预期持续时间。 这些时间线只作为示例提供,可能会因各种因素而异。 Microsoft 会自行决定更改生命周期时间线。

版本控制

运行时版本编号与语义化版本控制密切相关,但采用的方法略有不同。 运行时主版本对应 Apache Spark 主版本。 因此,运行时 1 对应 Spark 版本 3。 同样,运行时 2 与 Spark 4.1 保持一致。 需要注意的是,当前运行时之间可能会发生变化,包括添加或移除不同的库。 此外,我们的平台还提供库管理功能,使用户能够安装任何所需的库。