Nota
El acceso a esta página requiere autorización. Puede intentar iniciar sesión o cambiar directorios.
El acceso a esta página requiere autorización. Puede intentar cambiar los directorios.
Tiene una tarea de Spark que utiliza el motor de ejecución nativo. Si el trabajo escribe datos que contienen una columna con un valor de marca de tiempo, es posible que reciba una excepción de memoria insuficiente.
Estado: Abierto
Experiencia de producto: Ingeniería de datos
Síntomas
Tu trabajo genera errores debido a una excepción de falta de memoria.
Soluciones y soluciones alternativas
Para mitigar este problema, puede establecer estas configuraciones de Spark en el entorno o en el nivel de sesión:
-
spark.conf.set("spark.sql.parquet.datetimeRebaseModeInWrite","CORRECTED")
. Tenga en cuenta que esta configuración podría dar lugar a una marca de tiempo no válida en caso de que los datos tengan una marca de tiempo heredada. -
spark.sql.parquet.datetimeRebaseModeInWrite
. Usa EXCEPTION de forma predeterminada.