zasobnikBy

Zasobniki danych wyjściowych według podanych kolumn. Jeśli zostanie określony, dane wyjściowe są ułożone w systemie plików podobnym do schematu zasobnika hive, ale z inną funkcją skrótu zasobnika i nie są zgodne z zasobnikiem Hive.

Składnia

bucketBy(numBuckets, col, *cols)

Parametry

Parameter	Typ	Opis
numBuckets	int	Liczba zasobników do zapisania.
col	str, list lub krotka	Nazwa kolumny lub lista nazw.
*cols	str, opcjonalnie	Dodatkowe nazwy kolumn. Wartość musi być pusta, jeśli col jest listą.

Zwroty

DataFrameWriter

Notatki

Dotyczy źródeł danych opartych na plikach w połączeniu z DataFrameWriter.saveAsTable.

Examples

Zapisz ramkę danych w tabeli zasobnikowej i odczytaj ją z powrotem.

spark.sql("DROP TABLE IF EXISTS bucketed_table")
spark.createDataFrame([
    (100, "Alice"), (120, "Alice"), (140, "Bob")],
    schema=["age", "name"]
).write.bucketBy(2, "name").mode("overwrite").saveAsTable("bucketed_table")

spark.read.table("bucketed_table").sort("age").show()
# +---+------------+
# |age|        name|
# +---+------------+
# |100|Alice|
# |120|Alice|
# |140| Bob|
# +---+------------+

spark.sql("DROP TABLE bucketed_table")