cache

Conserva el dataframe con el nivel de almacenamiento predeterminado (MEMORY_AND_DISK_DESER).

Sintaxis

cache()

Devoluciones

DataFrame: DataFrame almacenado en caché.

Notas

El nivel de almacenamiento predeterminado ha cambiado para MEMORY_AND_DISK_DESER que coincida con Scala en 3.0.

En la computación clásica, los datos en caché se comparten entre todas las sesiones de Spark en el clúster.

En computación serverless, cache() ejecuta la consulta inmediatamente y almacena el resultado para el resto de la sesión. Solo tu sesión puede leerlo, y el resultado no cambia cuando cambian las tablas fuente. Consulta Cache DataFrames en computación serverless.

Ejemplos

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...