Сохраняются

Задает уровень хранилища для сохранения содержимого кадра данных в операциях после первого вычисления. Это можно использовать только для назначения нового уровня хранения, если кадр данных еще не имеет набора уровней хранения. Если уровень хранилища не указан по умолчанию (MEMORY_AND_DISK_DESER).

Синтаксис

persist(storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_DESER)

Параметры

Параметр	Тип	Описание
storageLevel	StorageLevel	Уровень хранилища, заданный для сохраняемости. Значение по умолчанию — MEMORY_AND_DISK_DESER.

Возвраты

DataFrame: сохраненный кадр данных.

Примечания

Уровень хранения по умолчанию изменился на MEMORY_AND_DISK_DESER соответствие Scala в версии 3.0.

Кэшированные данные используются во всех сеансах Spark в кластере.

Примеры

df = spark.range(1)
df.persist()
# DataFrame[id: bigint]

df.explain()
# == Physical Plan ==
# InMemoryTableScan ...

from pyspark.storagelevel import StorageLevel
df.persist(StorageLevel.DISK_ONLY)
# DataFrame[id: bigint]