ведро

Функция преобразования секций: преобразование для любого типа, который секционирует хэш входного столбца. Поддерживает Spark Connect.

Предупреждение

Не рекомендуется использовать в версии 4.0.0. Вместо этого используйте partitioning.bucket.

Синтаксис

from pyspark.sql import functions as dbf

dbf.bucket(numBuckets=<numBuckets>, col=<col>)

Параметры

Параметр	Тип	Description
numBuckets	pyspark.sql.Column или int	Количество контейнеров.
col	pyspark.sql.Column или str	Целевая дата или столбец метки времени для работы.

Возвраты

pyspark.sql.Column: данные, секционированные по заданным столбцам.

Примеры

df.writeTo("catalog.db.table").partitionedBy(
    bucket(42, "ts")
).createOrReplace()

Замечание

Эту функцию можно использовать только в сочетании с методом partitionedBy DataFrameWriterV2.