Unpersist

Markiert den DataFrame als nicht persistent, und entfernt alle Blöcke dafür aus dem Arbeitsspeicher und dem Datenträger.

Syntax

unpersist(blocking: bool = False)

Parameter

Parameter Typ Beschreibung
blocking bool Gibt an, ob blockiert werden soll, bis alle Blöcke gelöscht werden.

Rückkehr

DataFrame: Nicht persistierter DataFrame.

Hinweise

blocking Der Standardwert wurde in False 2.0 auf Scala geändert.

Bei Classic Compute werden zwischengespeicherte Daten über alle Spark-Sitzungen im Cluster geteilt, sodass das Nicht-Persistieren alle Sitzungen beeinflusst.

Bei serverless Compute markiert unpersist() das zwischengespeicherte Ergebnis als bereit zur Rückgewinnung und ignoriert blocking. Danach können der DataFrame und die daraus abgeleiteten DataFrames nicht mehr verwendet werden. Siehe Cache DataFrames auf serverloser Rechenleistung.

Beispiele

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]
df.unpersist()
# DataFrame[id: bigint]
df = spark.range(1)
df.unpersist(True)
# DataFrame[id: bigint]