cache

Conserve le DataFrame avec le niveau de stockage par défaut (MEMORY_AND_DISK_DESER).

Syntaxe

cache()

Retours

DataFrame: DataFrame mis en cache.

Remarques

Le niveau de stockage par défaut a changé pour correspondre à MEMORY_AND_DISK_DESER Scala dans la version 3.0.

Sur le calcul classique, les données mises en cache sont partagées entre toutes les sessions Spark du cluster.

En calcul serverless, cache() lance la requête immédiatement et stocke le résultat pour le reste de la session. Seule votre session peut la lire, et le résultat ne change pas lorsque les tables sources changent. Voir Cache DataFrames sur le calcul serverless.

Exemples

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...