dropna

Egy új DataFrame-kihagyó sort ad vissza null vagy NaN értékekkel. DataFrame.dropna és DataFrameNaFunctions.drop egymás aliasai.

Szemantika

dropna(how: str = "any", thresh: Optional[int] = None, subset: Optional[Union[str, Tuple[str, ...], List[str]]] = None)

Paraméterek

Paraméter	Típus	Leírás
how	str, nem kötelező, alapértelmezett "any"	az "any" vagy az "all" értékeket. Ha "bármelyik", ejtsen egy sort, ha null értéket tartalmaz. Ha "mind", csak akkor vesse el a sort, ha az összes értéke null.
thresh	int, optional, default None	Ha meg van adva, azokat a sorokat ejtse el, amelyek nem thresh null értékűek. Ez felülírja a paramétert how .
subset	str, tuple vagy list, nem kötelező	a megfontolandó oszlopnevek választható listája.

Visszatérítések

DataFrame: Csak null értékű sorokat tartalmazó DataFrame.

Examples

from pyspark.sql import Row
df = spark.createDataFrame([
    Row(age=10, height=80.0, name="Alice"),
    Row(age=5, height=float("nan"), name="Bob"),
    Row(age=None, height=None, name="Tom"),
    Row(age=None, height=float("nan"), name=None),
])

df.na.drop().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# +---+------+-----+

df.na.drop(how='all').show()
# +----+------+-----+
# | age|height| name|
# +----+------+-----+
# |  10|  80.0|Alice|
# |   5|   NaN|  Bob|
# |NULL|  NULL|  Tom|
# +----+------+-----+

df.na.drop(thresh=2).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+