cache

Speichert den DataFrame mit der Standardspeicherebene (MEMORY_AND_DISK_DESER).

Syntax

cache()

Rückkehr

DataFrame: Zwischengespeichertes DataFrame.

Hinweise

Die Standardspeicherebene wurde in MEMORY_AND_DISK_DESER 3.0 geändert.

Bei klassischer Berechnung werden zwischengespeicherte Daten über alle Spark-Sitzungen im Cluster geteilt.

Bei serverless Compute cache() wird die Abfrage sofort ausgeführt und das Ergebnis für den Rest Ihrer Sitzung gespeichert. Nur deine Sitzung kann sie lesen, und das Ergebnis ändert sich nicht, wenn sich die Quelltabellen ändern. Siehe Cache DataFrames auf serverloser Rechenleistung.

Beispiele

df = spark.range(1)
df.cache()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...