cache

Conserva el dataframe con el nivel de almacenamiento predeterminado (MEMORY_AND_DISK_DESER).

Sintaxis

cache()

Devoluciones

DataFrame: DataFrame almacenado en caché.

Notas

El nivel de almacenamiento predeterminado ha cambiado para MEMORY_AND_DISK_DESER que coincida con Scala en 3.0.

Los datos almacenados en caché se comparten en todas las sesiones de Spark del clúster.

Ejemplos

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...