localCheckpoint

Returnerar en lokalt kontrollpunktsversion av dataramen. Kontrollpunkter kan användas för att trunkera den logiska planen för den här dataramen, vilket är särskilt användbart i iterativa algoritmer där planen kan växa exponentiellt. Lokala kontrollpunkter lagras i körarna med hjälp av cachelagringsundersystemet och därför är de inte tillförlitliga.

Syntax

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

Parameters

Parameter	Type	Beskrivning
eager	bool, valfritt, standard sant	Om dataramen ska checkas in omedelbart.
storageLevel	StorageLevel, valfritt, standard ingen	StorageLevel som kontrollpunkten ska lagras med. Om det inte anges, standard för lokala RDD-kontrollpunkter.

Retur

DataFrame: DataFrame med kontrollpunkter.

Notes

Det här API:et är experimentellt.

Exempel

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]