隨機將此資料幀與提供的權重分割。
語法
randomSplit(weights: List[float], seed: Optional[int] = None)
參數
| 參數 | 類型 | 說明 |
|---|---|---|
weights |
list | 作為分割資料框架權重的雙重列表。 如果權重加起來不合到 1.0,權重會被正規化。 |
seed |
int,可選 | 取樣的種子。 |
退貨
列表:DataFrame 列表。
Examples
from pyspark.sql import Row
df = spark.createDataFrame([
Row(age=10, height=80, name="Alice"),
Row(age=5, height=None, name="Bob"),
Row(age=None, height=None, name="Tom"),
Row(age=None, height=None, name=None),
])
splits = df.randomSplit([1.0, 2.0], 24)
splits[0].count()
# 2
splits[1].count()
# 2