localCheckpoint

Возвращает локальную контрольную версию этого кадра данных. Контрольные точки можно использовать для усечения логического плана этого кадра данных, особенно полезного в итеративных алгоритмах, где план может увеличиваться экспоненциально. Локальные контрольные точки хранятся в исполнителях с помощью подсистемы кэширования, поэтому они не являются надежными.

Синтаксис

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

Параметры

Параметр	Тип	Описание
eager	bool, необязательный, по умолчанию True	Следует ли немедленно выполнять контрольную точку этого кадра данных.
storageLevel	StorageLevel, необязательно, по умолчанию None	StorageLevel, с которым будет храниться контрольная точка. Если не указано, по умолчанию для локальных контрольных точек RDD.

Возвраты

DataFrame: контрольный кадр данных.

Примечания

Этот API является экспериментальным.

Примеры

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]