cache

Persiste o DataFrame com o nível de armazenamento predefinido (MEMORY_AND_DISK_DESER).

Sintaxe

cache()

Devoluções

DataFrame: DataFrame em cache.

Notes

O nível de armazenamento padrão mudou para MEMORY_AND_DISK_DESER corresponder ao Scala na 3.0.

Na computação clássica, os dados em cache são partilhados por todas as sessões Spark no cluster.

Em computação serverless, cache() executa a consulta imediatamente e armazena o resultado para o resto da sessão. Só a tua sessão pode lê-lo, e o resultado não muda quando as tabelas de origem mudam. Ver Cache DataFrames em computação serverless.

Exemplos

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...