armazenar em cache

Persiste o DataFrame com o nível de armazenamento padrão (MEMORY_AND_DISK_DESER).

Sintaxe

cache()

Devoluções

DataFrame: DataFrame armazenado em cache.

Observações

O nível de armazenamento padrão foi alterado para corresponder ao MEMORY_AND_DISK_DESER Scala em 3.0.

Na computação clássica, os dados em cache são compartilhados entre todas as sessões do Spark no cluster.

Na computação serverless, cache() executa a consulta imediatamente e armazena o resultado pelo resto da sua sessão. Só sua sessão pode ler, e o resultado não muda quando as tabelas de origem mudam. Veja Cache DataFrames em computação serverless.

Exemplos

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...