ネイティブ実行エンジンで有効になっている Spark ジョブがある。 ジョブがタイムスタンプ値を持つ列を含むデータを書き込む場合、メモリ不足例外が発生する可能性があります。
ステータス： オープン
製品エクスペリエンス: データ エンジニアリング
症状
メモリ不足例外によりエラーが発生したあなたのジョブ。
解決策と回避策
この問題を軽減するには、環境またはセッション レベルでこれらの Spark 構成を設定します。
-
spark.conf.set("spark.sql.parquet.datetimeRebaseModeInWrite","CORRECTED")。 データにレガシ タイムスタンプがある場合は、この構成によって無効なタイムスタンプが発生する可能性があることに注意してください。 -
spark.sql.parquet.datetimeRebaseModeInWrite。 既定では EXCEPTION を使用します。