localCheckpoint

Vrátí místně označenou verzi tohoto datového rámce. Kontrolní body lze použít ke zkrácení logického plánu tohoto datového rámce, což je zvlášť užitečné v iterativních algoritmech, kde se plán může exponenciálně zvětšit. Místní kontrolní body se ukládají do exekutorů pomocí subsystému ukládání do mezipaměti, a proto nejsou spolehlivé.

Syntaxe

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

Parametry

Parameter Typ Description
eager bool, optional, default True Zda se má kontrolní bod tohoto datového rámce provést okamžitě.
storageLevel StorageLevel, volitelné, výchozí Žádné Úroveň úložiště, se kterou bude kontrolní bod uložen. Pokud není zadáno, výchozí hodnota pro místní kontrolní body RDD.

Návraty

DataFrame: Kontrolní datový rámec.

Poznámky

Toto rozhraní API je experimentální.

Příklady

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]