dropna

Mengembalikan baris DataFrame baru yang menghilangkan baris dengan nilai null atau NaN. DataFrame.dropna dan DataFrameNaFunctions.drop adalah alias satu sama lain.

Sintaksis

dropna(how: str = "any", thresh: Optional[int] = None, subset: Optional[Union[str, Tuple[str, ...], List[str]]] = None)

Parameter-parameternya

Parameter	Tipe	Deskripsi
how	str, opsional, default 'any'	nilai yang dapat berupa 'apa pun' atau 'semua'. Jika 'ada', letakkan baris jika berisi null. Jika 'semua', letakkan baris hanya jika semua nilainya null.
thresh	int, opsional, default Tidak Ada	Jika ditentukan, letakkan baris yang memiliki nilai kurang dari thresh non-null. Ini menimpa how parameter.
subset	str, tuple, atau daftar, opsional	daftar opsional nama kolom yang perlu dipertimbangkan.

Pengembalian Barang

DataFrame: DataFrame dengan baris null saja yang dikecualikan.

Examples

from pyspark.sql import Row
df = spark.createDataFrame([
    Row(age=10, height=80.0, name="Alice"),
    Row(age=5, height=float("nan"), name="Bob"),
    Row(age=None, height=None, name="Tom"),
    Row(age=None, height=float("nan"), name=None),
])

df.na.drop().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# +---+------+-----+

df.na.drop(how='all').show()
# +----+------+-----+
# | age|height| name|
# +----+------+-----+
# |  10|  80.0|Alice|
# |   5|   NaN|  Bob|
# |NULL|  NULL|  Tom|
# +----+------+-----+

df.na.drop(thresh=2).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10|  80.0|Alice|
# |  5|   NaN|  Bob|
# +---+------+-----+