контрольный пункт

Возвращает контрольную версию этого кадра данных. Контрольные точки можно использовать для усечения логического плана этого кадра данных, особенно полезного в итеративных алгоритмах, где план может увеличиваться экспоненциально. Он будет сохранен в файлах внутри каталога контрольных точек с SparkContext.setCheckpointDirконфигурацией или spark.checkpoint.dir конфигурацией.

Синтаксис

checkpoint(eager: bool = True)

Параметры

Параметр Тип Описание
eager bool, необязательный, по умолчанию True Следует ли немедленно выполнять контрольную точку этого кадра данных.

Возвраты

DataFrame: контрольный кадр данных.

Примечания

Этот API является экспериментальным.

Примеры

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]