drop (DataFrameNaFunctions)

Null vagy NaN értékekkel rendelkező új DataFrame kihagyó sorokat ad vissza. DataFrame.dropna és DataFrameNaFunctions.drop egymás aliasai.

Szemantika

drop(how='any', thresh=None, subset=None)

Paraméterek

Paraméter	Típus	Leírás
how	str, nem kötelező	A sor elvetése, ha null értéket tartalmaz, vagy csak akkor, ha az összes értéke null. Az elfogadott értékek az (alapértelmezett) és 'any'a 'all' . Ha thresh meg van adva, how a rendszer figyelmen kívül hagyja.
thresh	int, nem kötelező	Ha meg van adva, olyan sorokat csepegtethet, amelyek nem null értékűek thresh . Felülírja a parancsot how.
subset	str, tuple vagy list, nem kötelező	Null vagy NaN értékek ellenőrzésekor figyelembe veendő oszlopnevek.

Visszatérítések

DataFrame

Examples

from pyspark.sql import Row
df = spark.createDataFrame([
    Row(age=10, height=80.0, name="Alice"),
    Row(age=5, height=float("nan"), name="Bob"),
    Row(age=None, height=None, name="Tom"),
    Row(age=None, height=float("nan"), name=None),
])

Ha null vagy NaN értéket tartalmaz, ejtse el a sort.

df.na.drop().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# +---+------+-----+

Csak akkor helyezze el a sort, ha az összes értéke null vagy NaN.

df.na.drop(how='all').show()
# +----+------+-----+
# | age|height| name|
# +----+------+-----+
# |  10|  80.0|Alice|
# |   5|   NaN|  Bob|
# |NULL|  NULL|  Tom|
# +----+------+-----+

A nem null értékű és a nem NaN értéknél thresh kisebb sorokat dobja el.

df.na.drop(thresh=2).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+

A megadott oszlopokban null és NaN értékeket tartalmazó sorokat csepegtethet.

df.na.drop(subset=['age', 'name']).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+