你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。
适用于 Apache Spark 3.3 的 Azure Synapse 运行时 (EOSA)
Azure Synapse Analytics 支持 Apache Spark 的多个运行时。 本文档介绍适用于 Apache Spark 3.3 的 Azure Synapse 运行时的运行时组件和版本。
警告
Azure Synapse Runtime for Apache Spark 3.3 的支持通知结束
- 2024 年 7 月 12 日，已宣布对适用于 Apache Spark 3.3 的 Azure Synapse Runtime 的支持结束。
- 从 2025 年 3 月 31 日起，Azure Synapse 将停止对 Spark 3.3 运行时的官方支持。
- 强烈建议将基于 Apache Spark 3.3 的工作负载升级到适用于 Apache Spark 3.4 的 Azure Synapse Runtime（GA）。
- 有关最新信息、详细更改列表和 Spark 运行时的特定发行说明，请查看和订阅 Spark 运行时发布和更新。
组件版本
| 组件 | 版本 |
|---|---|
| Apache Spark | 3.3.1 |
| 操作系统 | Ubuntu 18.04 |
| Java | 1.8.0_282 |
| Scala | 2.12.15 |
| Hadoop | 3.3.3 |
| Delta Lake | 2.2.0 |
| Python | 3.10 |
| R（预览版） | 4.2.2 |
Synapse-Python310-CPU.yml 包含 Azure Synapse Spark 中默认 Python 3.10 环境中提供的库列表。
重要
.NET for Apache Spark
.NET for Apache Spark 是 .NET Foundation 下的一个开源项目，它当前需要 .NET 3.1 库，而该库已到达不受支持状态。 我们希望告知 Azure Synapse Spark 的用户，在 Azure Synapse Runtime for Apache Spark 版本 3.3 中，.NET for Apache Spark 库已被移除。 有关此情况的详细信息，用户可以参阅 .NET 支持策略。
因此，用户将无法再通过 C# 和 F# 使用 Apache Spark API，也无法再在 Synapse 中的笔记本中或通过 Synapse 中的 Apache Spark 作业定义执行 C# 代码。 请务必注意，此更改仅影响 Azure Synapse Runtime for Apache Spark 3.3 及更高版本。
我们将根据 Azure Synapse Runtime 的生命周期阶段继续在 Azure Synapse Runtime 的所有早期版本中支持 .NET for Apache Spark。 但是，我们没有在 Azure Synapse Runtime for Apache Spark 3.3 和未来版本中支持 .NET for Apache Spark 的计划。 建议使用由 C# 或 F# 编写的现有工作负载的用户迁移到 Python 或 Scala。 建议用户关注此信息并相应地进行计划。
Libraries
要查看面向 Java/Scala、Python 和 R 的适用于 Apache Spark 3.3 的 Azure Synapse 运行时中包含的库，请转到适用于 Apache Spark 3.3 的 Azure Synapse 运行时
后续步骤
- 在 Azure Synapse Analytics 中管理 Apache Spark 池的库
- 安装工作区包 wheel (Python)、jar (Scala/Java) 或 tar.gz (R)
- 通过 Azure PowerShell 和 REST API 管理包
- 管理会话范围内的包
- Apache Spark 3.3.1 文档
- Apache Spark 概念
Apache Spark 版本之间的迁移 - 支持
有关从旧版运行时迁移到适用于 Apache Spark 3.3 或 3.4 的 Azure Synapse 运行时的指导，请参阅 Apache Spark 运行时概述。