localCheckpoint

A DataFrame helyileg ellenőrzőponttal rendelkező verzióját adja vissza. Az ellenőrzőpontokkal csonkíthatja ennek a DataFrame-nek a logikai tervét, ami különösen hasznos olyan iteratív algoritmusokban, ahol a terv exponenciálisan növekedhet. A helyi ellenőrzőpontok a gyorsítótárazási alrendszer használatával tárolódnak a végrehajtókban, ezért nem megbízhatóak.

Szemantika

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

Paraméterek

Paraméter	Típus	Leírás
eager	bool, nem kötelező, alapértelmezett Igaz	Ellenőrizze, hogy a DataFrame-et azonnal ellenőrizni szeretné-e.
storageLevel	StorageLevel, opcionális, alapértelmezett Nincs	Az a StorageLevel, amellyel az ellenőrzőpontot tárolni fogja. Ha nincs megadva, az RDD helyi ellenőrzőpontjainak alapértelmezett értéke.

Visszatérítések

DataFrame: Ellenőrzőponttal megadott DataFrame.

Jegyzetek

Ez az API kísérleti jellegű.

Examples

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]