cache

Het DataFrame blijft behouden met het standaardopslagniveau (MEMORY_AND_DISK_DESER).

Syntaxis

cache()

Retouren

DataFrame: DataFrame met cache.

Aantekeningen

Het standaardopslagniveau is gewijzigd zodat MEMORY_AND_DISK_DESER het overeenkomt met Scala in 3.0.

Op klassieke rekenkracht worden gecachte data gedeeld over alle Spark-sessies in de cluster.

Op serverless compute voert cache() je de query direct uit en slaat het resultaat op voor de rest van je sessie. Alleen jouw sessie kan het lezen, en het resultaat verandert niet wanneer de brontabellen veranderen. Zie Cache DataFrames op serverless compute.

Examples

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...