coalesce

Devuelve la primera columna que no es null. Soporta Spark Connect.

Para obtener la función SQL de Databricks correspondiente, consulte coalesce function.

Syntax

from pyspark.sql import functions as dbf

dbf.coalesce(*cols)

Parámetros

Parámetro	Tipo	Description
cols	pyspark.sql.Column o str	Lista de columnas en las que trabajar.

Devoluciones

pyspark.sql.Column: valor de la primera columna que no es null.

Examples

from pyspark.sql import functions as dbf
df = spark.createDataFrame([(None, None), (1, None), (None, 2)], ("a", "b"))
df.select('*', dbf.coalesce("a", df["b"])).show()

+----+----+--------------+
|   a|   b|coalesce(a, b)|
+----+----+--------------+
|NULL|NULL|          NULL|
|   1|NULL|             1|
|NULL|   2|             2|
+----+----+--------------+