isNotNull

Проверьте, не имеет ли значение null значение столбца.

Синтаксис

isNotNull()

Возвраты

Столбец (логический)

Примеры

from pyspark.sql import Row
df = spark.createDataFrame([Row(name='Tom', height=80), Row(name='Alice', height=None)])
df.filter(df.height.isNotNull()).collect()

# [Row(name='Tom', height=80)]