Compartir a través de


Problema conocido: el trabajo de Spark produce un error de memoria insuficiente al usar el tipo de marca de tiempo

Tiene una tarea de Spark que utiliza el motor de ejecución nativo. Si el trabajo escribe datos que contienen una columna con un valor de marca de tiempo, es posible que reciba una excepción de memoria insuficiente.

Estado: Abierto

Experiencia de producto: Ingeniería de datos

Síntomas

Tu trabajo genera errores debido a una excepción de falta de memoria.

Soluciones y soluciones alternativas

Para mitigar este problema, puede establecer estas configuraciones de Spark en el entorno o en el nivel de sesión:

  • spark.conf.set("spark.sql.parquet.datetimeRebaseModeInWrite","CORRECTED"). Tenga en cuenta que esta configuración podría dar lugar a una marca de tiempo no válida en caso de que los datos tengan una marca de tiempo heredada.
  • spark.sql.parquet.datetimeRebaseModeInWrite. Usa EXCEPTION de forma predeterminada.

Pasos siguientes