ellenőrzőpont

A DataFrame ellenőrzőponttal rendelkező verzióját adja vissza. Az ellenőrzőpontokkal csonkíthatja ennek a DataFrame-nek a logikai tervét, ami különösen hasznos olyan iteratív algoritmusokban, ahol a terv exponenciálisan növekedhet. A rendszer az ellenőrzőpont-könyvtárban lévő fájlokba menti a rendszer a következővel vagy SparkContext.setCheckpointDir konfigurációvalspark.checkpoint.dir:

Szemantika

checkpoint(eager: bool = True)

Paraméterek

Paraméter	Típus	Leírás
eager	bool, nem kötelező, alapértelmezett Igaz	Ellenőrizze, hogy a DataFrame-et azonnal ellenőrizni szeretné-e.

Visszatérítések

DataFrame: Ellenőrzőponttal megadott DataFrame.

Jegyzetek

Ez az API kísérleti jellegű.

Examples

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.checkpoint(False)
# DataFrame[age: bigint, name: string]