Azure Synapse Runtime for Apache Spark 3.3 (非推奨)

Azure Synapse Analytics は、Apache Spark の複数のランタイムをサポートしています。このドキュメントでは、Azure Synapse Runtime for Apache Spark 3.3 のランタイムコンポーネントとバージョンについて説明します。

注意事項

Apache Spark 3.3 用 Azure Synapse Runtime の非推奨と無効化の通知

Azure Synapse Runtime for Apache Spark 3.3 は非推奨となり、2025 年 3 月 31 日に無効になります。 
2024 年 7 月 12 日、Azure Synapse Runtime for Apache Spark 3.3 のサポート終了が発表されました。
2025 年 3 月 31 日より、Azure Synapse は Spark 3.3 ランタイムの公式サポートを中止します。
Apache Spark 3.3 ベースのワークロードを Azure Synapse Runtime for Apache Spark 3.4 (GA)にアップグレードすることを強くお勧めします。
最新の情報、変更の詳細な一覧、Spark ランタイムの特定のリリースノートについては、 Spark ランタイムのリリースと更新プログラムを確認してサブスクライブ。

コンポーネントのバージョン

Synapse-Python310-CPU.yml には、Azure Synapse Spark の既定の Python 3.10 環境に付属しているライブラリの一覧が含まれています。

重要

.NET for Apache Spark

.NET for Apache Spark は、サポート対象外の状態に達している .NET 3.1 ライブラリを現在必要とする .NET Foundation のオープンソースプロジェクトです。 Azure Synapse Runtime for Apache Spark バージョン 3.3 で .NET for Apache Spark ライブラリが削除されることを Azure Synapse Spark のユーザーにお知らせします。この問題の詳細については .NET サポートポリシーを参照することができます。
その結果、ユーザーは C# および F# を介して Apache Spark API を利用したり、Synapse 内のノートブックや Synapse の Apache Spark ジョブ定義を使用して C# コードを実行したりすることができなくなります。この変更が影響を受けるのは、Apache Spark 3.3 以降の Azure Synapse Runtime のみであることに注意してください。
ライフサイクルステージに従って、以前のすべてのバージョンの Azure Synapse Runtime で .NET for Apache Spark を引き続きサポートします。ただし、Azure Synapse Runtime for Apache Spark 3.3 および今後のバージョンでは、.NET for Apache Spark をサポートする予定はありません。 C# または F# で記述された既存のワークロードを持つユーザーは、Python または Scala に移行することをお勧めします。ユーザーはこの情報をメモし、適切に計画することをお勧めします。

Azure Synapse Runtime for Apache Spark 3.3 for Java/Scala、Python、R に含まれるライブラリを確認するには、Apache Spark 3.3 用 Azure Synapse Runtime に移動します

古いランタイムバージョンから Azure Synapse Runtime for Apache Spark 3.3 または 3.4 への移行のガイダンスについては、「 Runtime for Apache Spark の概要を参照してください。