根據每個層的分數,回傳一個無置換的分層樣本。
語法
sampleBy(col: "ColumnOrName", fractions: Dict[Any, float], seed: Optional[int] = None)
參數
| 參數 | 類型 | 說明 |
|---|---|---|
col |
柱或力量 | 定義分層的欄位。 |
fractions |
dict | 每個層的抽樣分率。 若未指定某地層,則將其分數視為零。 |
seed |
int,可選 | 隨機種子。 |
退貨
一個新的 DataFrame,代表分層樣本。
Examples
from pyspark.sql import functions as sf
dataset = spark.range(0, 100, 1, 5).select((sf.col("id") % 3).alias("key"))
sampled = dataset.sampleBy("key", fractions={0: 0.1, 1: 0.2}, seed=0)
sampled.groupBy("key").count().orderBy("key").show()
# +---+-----+
# |key|count|
# +---+-----+
# | 0| 4|
# | 1| 9|
# +---+-----+
dataset.sampleBy(sf.col("key"), fractions={2: 1.0}, seed=0).count()
# 33