localCheckpoint

Bu DataFrame'in yerel olarak denetlenen bir sürümünü döndürür. Denetim noktası oluşturma, bu DataFrame'in mantıksal planının kesilmesi için kullanılabilir. Bu, özellikle planın katlanarak büyüyebileceği yinelemeli algoritmalarda yararlıdır. Yerel denetim noktaları, önbelleğe alma alt sistemi kullanılarak yürütücülerde depolanır ve bu nedenle güvenilir değildir.

Sözdizimi

localCheckpoint(eager: bool = True, storageLevel: Optional[StorageLevel] = None)

Parametreler

Parametre	Türü	Açıklama
eager	bool, isteğe bağlı, varsayılan True	Bu DataFrame'in hemen denetlenip denetlenmeyeceği.
storageLevel	StorageLevel, isteğe bağlı, varsayılan Yok	Denetim noktasının depolanacağı StorageLevel. Belirtilmezse, RDD yerel denetim noktaları için varsayılan değerdir.

İadeler

DataFrame: Denetim noktası oluşturulan DataFrame.

Notlar

Bu API deneyseldir.

Örnekler

df = spark.createDataFrame([
    (14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])
df.localCheckpoint(False)
# DataFrame[age: bigint, name: string]