randomSplit

Случайным образом разделяет этот кадр данных с предоставленными весами.

Синтаксис

randomSplit(weights: List[float], seed: Optional[int] = None)

Параметры

Параметр	Тип	Описание
weights	list	список двойных в качестве весов, с которыми следует разделить кадр данных. Весы будут нормализованы, если они не суммируют до 1,0.
seed	int, необязательный	Начальное значение для выборки.

Возвраты

list: List of DataFrames.

Примеры

from pyspark.sql import Row
df = spark.createDataFrame([
    Row(age=10, height=80, name="Alice"),
    Row(age=5, height=None, name="Bob"),
    Row(age=None, height=None, name="Tom"),
    Row(age=None, height=None, name=None),
])

splits = df.randomSplit([1.0, 2.0], 24)
splits[0].count()
# 2
splits[1].count()
# 2