依欄位將資料分群以優化查詢效能。
語法
clusterBy(*cols)
參數
| 參數 | 類型 | 說明 |
|---|---|---|
*cols |
力量或列表 | 欄位名稱可以聚集。 |
退貨
DataFrameWriter
Examples
將 DataFrame 寫入帶有叢集的 Parquet 檔案。
import tempfile
with tempfile.TemporaryDirectory(prefix="clusterBy") as d:
spark.createDataFrame(
[{"age": 100, "name": "Alice"}, {"age": 120, "name": "Ruifeng Zheng"}]
).write.clusterBy("name").mode("overwrite").format("parquet").save(d)