drop (DataFrameNaFunctions)

Zwraca nowe DataFrame wiersze pomijające wartości null lub NaN. DataFrame.dropna i DataFrameNaFunctions.drop są aliasami siebie nawzajem.

Składnia

drop(how='any', thresh=None, subset=None)

Parametry

Parameter	Typ	Opis
how	str, opcjonalnie	Czy usunąć wiersz, jeśli zawiera jakiekolwiek wartości null, czy tylko wtedy, gdy wszystkie jego wartości mają wartość null. Akceptowane wartości to 'any' (wartość domyślna) i 'all'. Jeśli thresh zostanie określony, how zostanie zignorowany.
thresh	int, opcjonalnie	Jeśli zostanie określony, upuść wiersze, które mają mniej niż wartości inne niż thresh null. howZastępuje .
subset	str, krotka lub lista, opcjonalnie	Nazwy kolumn do rozważenia podczas sprawdzania wartości null lub Wartości NaN.

Zwroty

DataFrame

Examples

from pyspark.sql import Row
df = spark.createDataFrame([
    Row(age=10, height=80.0, name="Alice"),
    Row(age=5, height=float("nan"), name="Bob"),
    Row(age=None, height=None, name="Tom"),
    Row(age=None, height=float("nan"), name=None),
])

Upuść wiersz, jeśli zawiera wartość null lub Wartość NaN.

df.na.drop().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# +---+------+-----+

Upuść wiersz tylko wtedy, gdy wszystkie jego wartości mają wartość null lub Wartość NaN.

df.na.drop(how='all').show()
# +----+------+-----+
# | age|height| name|
# +----+------+-----+
# |  10|  80.0|Alice|
# |   5|   NaN|  Bob|
# |NULL|  NULL|  Tom|
# +----+------+-----+

Upuść wiersze, które mają mniej niż wartości inne niż null i inne niż thresh NaN.

df.na.drop(thresh=2).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+

Upuść wiersze z wartościami null i NaN w określonych kolumnach.

df.na.drop(subset=['age', 'name']).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+