Hinweis
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, sich anzumelden oder das Verzeichnis zu wechseln.
Für den Zugriff auf diese Seite ist eine Autorisierung erforderlich. Sie können versuchen, das Verzeichnis zu wechseln.
Legt die Speicherebene fest, um den Inhalt des DataFrames über Vorgänge hinweg beizubehalten, nachdem sie zum ersten Mal berechnet wurde. Dies kann nur verwendet werden, um eine neue Speicherebene zuzuweisen, wenn der DataFrame noch keine Speicherebene festgelegt hat. Wenn keine Speicherebene angegeben ist, wird standardmäßig auf (MEMORY_AND_DISK_DESER) festgelegt.
Syntax
persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)
Parameter
| Parameter | Typ | Beschreibung |
|---|---|---|
storageLevel |
StorageLevel | Speicherebene, die für Persistenz festgelegt werden soll. Der Standardwert ist MEMORY_AND_DISK_DESER. |
Rückkehr
DataFrame: Persistenter DataFrame.
Hinweise
Die Standardspeicherebene wurde in MEMORY_AND_DISK_DESER 3.0 geändert.
Bei klassischer Berechnung werden zwischengespeicherte Daten über alle Spark-Sitzungen im Cluster geteilt.
Bei serverloser Berechnung verhält sich persist() das gleich wie cache() und ignoriert storageLevel. Es führt die Abfrage sofort aus und speichert das Ergebnis für den Rest Ihrer Sitzung. Siehe Cache DataFrames auf serverloser Rechenleistung.
Beispiele
df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.explain()
# == Physical Plan ==
# InMemoryTableScan ...
from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]