既知の問題 - GA のランタイム 1.3 更新により Spark ジョブが失敗する可能性がある
Apache Spark 3.5 に基づく Microsoft Fabric Runtime 1.3 は、2024 年 9 月 23 日に一般公開 (GA) に移行しました。 Fabric Runtime 1.3 を運用環境のワークロードに使用できるようになりました。 パブリック プレビューから一般提供段階への移行の一環として、機能、セキュリティ、信頼性、パフォーマンスを向上させるための主要な組み込みライブラリ更新プログラムをリリースしました。 これらの更新プログラムは、ライブラリをインストールした場合や、ランタイム 1.3 で組み込みのライブラリ バージョンをオーバーライドした場合に、Microsoft Fabric 環境に影響を与える可能性があります。
状態: オープン
製品エクスペリエンス: Data Engineering
現象
ランタイム 1.3 でライブラリを使用して環境をインストールした場合、Spark ジョブは次のような Post Personalization failedエラーで失敗し始めます。 基になる組み込みライブラリが更新されるため、インストールされているカスタム ライブラリのインポートが失敗する可能性があります。
解決策と回避策
Microsoft Fabric 環境で Fabric Runtime 1.3 のライブラリを再インストールします。 再インストールにより、最新の更新プログラムに基づいて新しい依存関係が構築されます。 カスタム ライブラリに Python 組み込みパッケージに互換性のない依存関係がある場合、インストールは失敗し、必要なバージョンの一覧で自己デバッグ ログが生成されます。 依存関係を更新して、カスタム ライブラリに互換性を持たせることができます。 基になる Python パッケージが変更された場合、既存のノートブックまたはパイプラインに非互換性や破壊的変更がある可能性があります。 軽減するには、コードを再検討する必要があります。