堅持下去

設定儲存層級,讓資料框內容在首次計算後跨操作持續保存。 只有當 DataFrame 尚未設定儲存層級時,才能用來指派新的儲存層級。 若未指定儲存等級,則預設為 (MEMORY_AND_DISK_DESER)。

語法

persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)

參數

參數 類型 說明
storageLevel 儲存層級 儲存等級設定為持久化。 預設是MEMORY_AND_DISK_DESER。

退貨

DataFrame:持久資料框架。

Notes

預設儲存等級已調整為 MEMORY_AND_DISK_DESER 與 Scala 3.0 版本相符。

快取資料會在集群上所有的 Spark 會話之間共享。

Examples

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...

from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]