Repartition

Verilen bölümleme ifadeleri tarafından bölümlenmiş yeni bir DataFrame döndürür. Sonuçta elde edilen DataFrame karma bölümlenmiştir.

Sözdizimi

repartition(numPartitions: Union[int, "ColumnOrName"], *cols: "ColumnOrName")

Parametreler

Parametre	Türü	Açıklama
numPartitions	Int	, hedef bölüm sayısını veya Sütun'un belirtileceği bir int olabilir. Sütun ise, ilk bölümleme sütunu olarak kullanılır. Belirtilmezse, varsayılan bölüm sayısı kullanılır.
cols	str veya Sütun	bölümleme sütunları.

İadeler

DataFrame: Yeniden bölümlenmiş DataFrame.

Örnekler

from pyspark.sql import functions as sf
df = spark.range(0, 64, 1, 9).withColumn(
    "name", sf.concat(sf.lit("name_"), sf.col("id").cast("string"))
).withColumn(
    "age", sf.col("id") - 32
)
df.repartition(10).select(
    sf.spark_partition_id().alias("partition")
).distinct().sort("partition").show()
# +---------+
# |partition|
# +---------+
# |        0|
# ...
# |        9|
# +---------+

df.repartition(7, "age").select(
    sf.spark_partition_id().alias("partition")
).distinct().sort("partition").show()
# +---------+
# |partition|
# +---------+
# |        0|
# ...
# |        6|
# +---------+