controlepost

Hiermee wordt een controlepuntversie van dit DataFrame geretourneerd. Controlepunten kunnen worden gebruikt om het logische plan van dit DataFrame af te kapen. Dit is vooral handig in iteratieve algoritmen waarbij het plan exponentieel kan groeien. Het wordt opgeslagen in bestanden in de controlepuntmapset met SparkContext.setCheckpointDirof spark.checkpoint.dir configuratie.

Syntaxis

checkpoint(eager: bool = True)

Parameterwaarden

Kenmerk	Typ	Beschrijving
eager	bool, optioneel, standaard True	Of u dit DataFrame onmiddellijk wilt controleren.

Retouren

DataFrame: Checkpointed DataFrame.

Aantekeningen

Deze API is experimenteel.

Examples

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]