clusterBy (DataFrameWriter)

Seskupí data podle daných sloupců za účelem optimalizace výkonu dotazů.

Syntaxe

clusterBy(*cols)

Parametry

Parameter Typ Description
*cols str nebo list Názvy sloupců, podle kterých se mají seskupit.

Návraty

DataFrameWriter

Příklady

Zapište datový rámec do souboru Parquet s clusteringem.

import tempfile
with tempfile.TemporaryDirectory(prefix="clusterBy") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}, {"age": 120, "name": "Ruifeng Zheng"}]
    ).write.clusterBy("name").mode("overwrite").format("parquet").save(d)