Ragaszkodik

A tárolási szintet úgy állítja be, hogy a DataFrame tartalmát az első számítás után a műveletek között is megőrizze. Ez csak akkor használható új tárolási szint hozzárendelésére, ha a DataFrame még nem rendelkezik tárterületszint-beállítással. Ha nincs megadva a tárolási szint alapértelmezett értéke (MEMORY_AND_DISK_DESER).

Szemantika

persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)

Paraméterek

Paraméter	Típus	Leírás
storageLevel	StorageLevel	Az adatmegőrzéshez beállított tárolási szint. Az alapértelmezett érték MEMORY_AND_DISK_DESER.

Visszatérítések

DataFrame: Megőrzött DataFrame.

Jegyzetek

Az alapértelmezett tárolási szint úgy módosult, hogy MEMORY_AND_DISK_DESER megfeleljen a Scala 3.0-s értékének.

A gyorsítótárazott adatok megosztásra kerülnek a klaszter összes Spark munkamenetében.

Examples

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...

from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]