last_value

Zwraca ostatnią wartość col dla grupy wierszy. Spowoduje to zwrócenie ostatniej wartości innej niż null, która zostanie wyświetlona, gdy ignoreNulls zostanie ustawiona wartość true. Jeśli wszystkie wartości mają wartość null, zwracana jest wartość null.

Składnia

from pyspark.sql import functions as sf

sf.last_value(col, ignoreNulls=None)

Parametry

Parameter	Typ	Description
col	pyspark.sql.Column lub str	Kolumna docelowa do pracy.
ignoreNulls	pyspark.sql.Column lub wartość logiczna, opcjonalnie	Jeśli pierwsza wartość ma wartość null, poszukaj pierwszej wartości innej niż null.

Zwraca

pyspark.sql.Column: niektóre wartości col dla grupy wierszy.

Przykłady

Przykład 1. Pobieranie ostatniej wartości bez ignorowania wartości null

from pyspark.sql import functions as sf
spark.createDataFrame(
    [("a", 1), ("a", 2), ("a", 3), ("b", 8), (None, 2)], ["a", "b"]
).select(sf.last_value('a'), sf.last_value('b')).show()

+-------------+-------------+
|last_value(a)|last_value(b)|
+-------------+-------------+
|         NULL|            2|
+-------------+-------------+

Przykład 2. Pobieranie ostatniej wartości ignorujących wartości null

from pyspark.sql import functions as sf
spark.createDataFrame(
    [("a", 1), ("a", 2), ("a", 3), ("b", 8), (None, 2)], ["a", "b"]
).select(sf.last_value('a', True), sf.last_value('b', True)).show()

+-------------+-------------+
|last_value(a)|last_value(b)|
+-------------+-------------+
|            b|            2|
+-------------+-------------+