Devam ettirmek

DataFrame'in içeriğini ilk kez hesaplandıktan sonra işlemler arasında kalıcı hale getirmek için depolama düzeyini ayarlar. Bu yalnızca DataFrame'de henüz bir depolama düzeyi ayarlanmamışsa yeni bir depolama düzeyi atamak için kullanılabilir. Herhangi bir depolama düzeyi belirtilmezse varsayılan olarak () ayarlanırMEMORY_AND_DISK_DESER.

Sözdizimi

persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)

Parametreler

Parametre	Türü	Açıklama
storageLevel	StorageLevel	Kalıcılık için ayarlanacağı depolama düzeyi. Varsayılan değer MEMORY_AND_DISK_DESER.

İadeler

DataFrame: Kalıcı DataFrame.

Notlar

Varsayılan depolama düzeyi, 3.0'da Scala ile eşleşecek şekilde MEMORY_AND_DISK_DESER değiştirildi.

Önbelleğe alınan veriler kümedeki tüm Spark oturumlarında paylaşılır.

Örnekler

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...

from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]