bucketBy

Çıkışı verilen sütunlara göre demetler. Belirtilirse, çıkış Hive'ın demet düzenine benzer ancak farklı bir demet karma işleviyle dosya sisteminde düzenlenir ve Hive'ın demeti ile uyumlu değildir.

Sözdizimi

bucketBy(numBuckets, col, *cols)

Parametreler

Parametre Türü Açıklama
numBuckets Int Kaydedilecek demet sayısı.
col str, list veya deuple Sütun adı veya ad listesi.
*cols str, isteğe bağlı Ek sütun adları. Listeyse col boş olmalıdır.

İadeler

DataFrameWriter

Notlar

ile DataFrameWriter.saveAsTablebirlikte dosya tabanlı veri kaynakları için geçerlidir.

Örnekler

Veri Çerçevesini demetli bir tabloya yazın ve geri okuyun.

spark.sql("DROP TABLE IF EXISTS bucketed_table")
spark.createDataFrame([
    (100, "Alice"), (120, "Alice"), (140, "Bob")],
    schema=["age", "name"]
).write.bucketBy(2, "name").mode("overwrite").saveAsTable("bucketed_table")

spark.read.table("bucketed_table").sort("age").show()
# +---+------------+
# |age|        name|
# +---+------------+
# |100|Alice|
# |120|Alice|
# |140| Bob|
# +---+------------+

spark.sql("DROP TABLE bucketed_table")