last_value

Devuelve el último valor de col para un grupo de filas. Devolverá el último valor distinto de NULL que ve cuando ignoreNulls se establece en true. Si todos los valores son null, se devuelve null.

Syntax

from pyspark.sql import functions as sf

sf.last_value(col, ignoreNulls=None)

Parámetros

Parámetro	Tipo	Description
col	pyspark.sql.Column o str	Columna de destino en la que trabajar.
ignoreNulls	pyspark.sql.Column o bool, opcional	Si el primer valor es NULL, busque el primer valor distinto de NULL.

Devoluciones

pyspark.sql.Column: un valor de col para un grupo de filas.

Examples

Ejemplo 1: Obtención del último valor sin omitir valores NULL

from pyspark.sql import functions as sf
spark.createDataFrame(
    [("a", 1), ("a", 2), ("a", 3), ("b", 8), (None, 2)], ["a", "b"]
).select(sf.last_value('a'), sf.last_value('b')).show()

+-------------+-------------+
|last_value(a)|last_value(b)|
+-------------+-------------+
|         NULL|            2|
+-------------+-------------+

Ejemplo 2: Obtención del último valor que omite los valores NULL

from pyspark.sql import functions as sf
spark.createDataFrame(
    [("a", 1), ("a", 2), ("a", 3), ("b", 8), (None, 2)], ["a", "b"]
).select(sf.last_value('a', True), sf.last_value('b', True)).show()

+-------------+-------------+
|last_value(a)|last_value(b)|
+-------------+-------------+
|            b|            2|
+-------------+-------------+