活动
3月31日 23时 - 4月2日 23时
最终的 Fabric、AI 和 SQL、Power BI 社区主导的活动。 3月31日至4月2日。 将代码 MSCUST 用于 150 美元的折扣。
立即注册你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站,请访问 https://docs.azure.cn。
Azure Synapse 中的 Apache Spark 池使用运行时将基本组件版本(例如 Azure Synapse 优化、包和连接器)与特定的 Apache Spark 版本绑定在一起。 每个运行时都会定期升级,以包含新的改进、功能和补丁。 在创建无服务器 Apache Spark 池时,选择相应的 Apache Spark 版本。 基于此,池将随关联的运行时组件和包一起预安装。
这些运行时具有以下优点:
提示
强烈建议主动将工作负载升级到更新正式发布版本的运行时,即为适用于 Apache Spark 3.4 的 Azure Synapse 运行时 (GA)。 请参阅 Apache Spark 迁移指南。
下表列出了受支持的 Azure Synapse 运行时版本的运行时名称、Apache Spark 版本和发布日期。
运行时名称 | 发布日期 | 发布阶段 | 支持结束公告日期 | 支持结束生效日期 |
---|---|---|---|---|
适用于 Apache Spark 3.4 的 Azure Synapse 运行时 | 2023 年 11 月 21 日 | GA(截至 2024 年 4 月 8 日) | 2025 年第 2 季度 | 2026 年第 1 季度 |
适用于 Apache Spark 3.3 的 Azure Synapse 运行时 | 2022 年 11 月 17 日 | 宣布终止支持 | 2024 年 7 月 12 日 | 2025 年 3 月 31 日 |
适用于 Apache Spark 3.2 的 Azure Synapse 运行时 | 2022 年 7 月 8 日 | 已弃用并将很快禁用 | 2023 年 7 月 8 日 | 2024 年 7 月 8 日 |
适用于 Apache Spark 3.1 的 Azure Synapse 运行时 | 2021 年 5 月 26 日 | 已弃用并将很快禁用 | 2023 年 1 月 26 日 | 2024 年 1 月 26 日 |
适用于 Apache Spark 2.4 的 Azure Synapse 运行时 | 2020 年 12 月 15 日 | 已弃用并将很快禁用 | 2022 年 7 月 29 日 | 2023 年 9 月 29 日 |
有关 Apache Spark 生命周期和支持策略的完整运行时,请参阅适用于 Apache Spark 生命周期和可支持性的 Synapse 运行时。
适用于 Apache Spark 修补程序的 Azure Synapse 运行时每月推出,其中包含 Apache Spark 核心引擎、语言环境、连接器和库的 bug、功能和安全修补程序。
备注
重要
Log4j 1.2.x 安全修补程序
如此处所述,开源 Log4j 库版本 1.2.x 有几个已知的 CVE(常见漏洞和风险)。
针对所有 Synapse Spark Pool 运行时,我们修补了 Log4j 1.2.17 JAR 以缓解以下 CVE:CVE-2019-1751、CVE-2020-9488、CVE-2021-4104、CVE-2022-23302、CVE-2022- 2330,CVE-2022-23307
应用的补丁的工作原理是删除会引发漏洞的以下文件:
org/apache/log4j/net/SocketServer.class
org/apache/log4j/net/SMTPAppender.class
org/apache/log4j/net/JMSAppender.class
org/apache/log4j/net/JMSSink.class
org/apache/log4j/jdbc/JDBCAppender.class
org/apache/log4j/chainsaw/*
虽然上述类未在 Synapse 的默认 Log4j 配置中使用,但某些用户应用程序仍可能依赖于它。 如果应用程序需要使用这些类,请使用“库管理”将 Log4j 的安全版本添加到 Spark 池。 请勿使用 Log4j 版本 1.2.17,它会重新引入漏洞。
修补程序策略因运行时生命周期阶段而异:
正式发布 (GA) 运行时:不接收主要版本(即 3.x -> 4.x)升级。 只要没有弃用或回归影响,就会升级次要版本(即 3.x -> 3.y)。
预览运行时:除非绝对必要,否则不会升级主要版本。 次要版本 (3.x -> 3.y) 将升级,以将最新功能添加到运行时。
长期支持 (LTS) 运行时仅使用安全修补程序进行修补。
宣布支持结束的运行时将不会有 bug 和功能修复。 安全修补程序会基于风险评估进行向后移植。
本指南为希望将 Apache Spark 的 Azure Synapse 运行时工作负载从版本 2.4、3.1、3.2 或 3.3 升级到最新 GA 版本(如 3.4)的用户提供了结构化方法。 升级到最新版本后,用户将能够受益于性能增强、新增功能和改进的安全措施。 请务必注意,由于不兼容或弃用的功能,过渡到更高版本可能需要调整现有 Spark 代码。
问:在从 2.4 迁移到 3.X 时应执行哪些步骤?
答:请参阅 Apache Spark 迁移指南。
问:在 Spark 池具有附加库的情况下,我在尝试使用 PowerShell cmdlet 对其运行时进行升级的过程中遇到错误。
答:如果在 Synapse 工作区中安装了自定义库,请不要使用 PowerShell cmdlet。 而应执行以下步骤:
问题: 为什么在不重新创建新的 Spark 池的情况下无法升级到 3.4?
答案:不允许从 UX 执行此操作,客户可以使用 Azure PowerShell 更新 Spark 版本。 请使用“ForceApplySetting”,以便停用任何现有群集(具有旧版本)。
示例查询:
$_target_work_space = @("workspace1", "workspace2")
Get-AzSynapseWorkspace |
ForEach-Object {
if ($_target_work_space -contains $_.Name) {
$_workspace_name = $_.Name
Write-Host "Updating workspace: $($_workspace_name)"
Get-AzSynapseSparkPool -WorkspaceName $_workspace_name |
ForEach-Object {
Write-Host "Updating Spark pool: $($_.Name)"
Write-Host "Current Spark version: $($_.SparkVersion)"
Update-AzSynapseSparkPool -WorkspaceName $_workspace_name -Name $_.Name -SparkVersion 3.4 -ForceApplySetting
}
}
}
活动
3月31日 23时 - 4月2日 23时
最终的 Fabric、AI 和 SQL、Power BI 社区主导的活动。 3月31日至4月2日。 将代码 MSCUST 用于 150 美元的折扣。
立即注册