Beibehalten

Legt die Speicherebene fest, um den Inhalt des DataFrames über Vorgänge hinweg beizubehalten, nachdem sie zum ersten Mal berechnet wurde. Dies kann nur verwendet werden, um eine neue Speicherebene zuzuweisen, wenn der DataFrame noch keine Speicherebene festgelegt hat. Wenn keine Speicherebene angegeben ist, wird standardmäßig auf (MEMORY_AND_DISK_DESER) festgelegt.

Syntax

persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)

Parameter

Parameter Typ Beschreibung
storageLevel StorageLevel Speicherebene, die für Persistenz festgelegt werden soll. Der Standardwert ist MEMORY_AND_DISK_DESER.

Rückkehr

DataFrame: Persistenter DataFrame.

Hinweise

Die Standardspeicherebene wurde in MEMORY_AND_DISK_DESER 3.0 geändert.

Bei klassischer Berechnung werden zwischengespeicherte Daten über alle Spark-Sitzungen im Cluster geteilt.

Bei serverloser Berechnung verhält sich persist() das gleich wie cache() und ignoriert storageLevel. Es führt die Abfrage sofort aus und speichert das Ergebnis für den Rest Ihrer Sitzung. Siehe Cache DataFrames auf serverloser Rechenleistung.

Beispiele

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...

from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]