依照檔案系統中指定的欄位排序每個桶中的輸出。
語法
sortBy(col, *cols)
參數
| 參數 | 類型 | 說明 |
|---|---|---|
col |
str、元組或列表 | 欄位名稱,或是名字列表。 |
*cols |
力量,選用 | 其他欄位名稱。 如果是清單, col 則必須是空的。 |
退貨
DataFrameWriter
Examples
將 DataFrame 寫入一個排序桶狀的資料表,然後讀回來。
spark.sql("DROP TABLE IF EXISTS sorted_bucketed_table")
spark.createDataFrame([
(100, "Alice"), (120, "Alice"), (140, "Bob")],
schema=["age", "name"]
).write.bucketBy(1, "name").sortBy("age").mode(
"overwrite").saveAsTable("sorted_bucketed_table")
spark.read.table("sorted_bucketed_table").sort("age").show()
# +---+------------+
# |age| name|
# +---+------------+
# |100|Alice|
# |120|Alice|
# |140| Bob|
# +---+------------+
spark.sql("DROP TABLE sorted_bucketed_table")