last

Zwraca ostatnią wartość w grupie. Funkcja domyślnie zwraca ostatnie wartości, które widzi. Spowoduje to zwrócenie ostatniej wartości innej niż null, która zostanie wyświetlona, gdy parametr ignoreNulls ma wartość true. Jeśli wszystkie wartości mają wartość null, zwracana jest wartość null. Funkcja nie jest deterministyczna, ponieważ jej wyniki zależą od kolejności wierszy, które mogą być niedeterministyczne po przetasowaniach.

Składnia

from pyspark.sql import functions as sf

sf.last(col, ignorenulls=False)

Parametry

Parameter	Typ	Description
col	pyspark.sql.Column lub nazwa kolumny	Kolumna do pobrania ostatniej wartości.
ignorenulls	bool	Jeśli ostatnia wartość ma wartość null, poszukaj wartości innej niż null. Domyślnie false.

Zwraca

pyspark.sql.Column: ostatnia wartość grupy.

Przykłady

from pyspark.sql import functions as sf
df = spark.createDataFrame([("Alice", 2), ("Bob", 5), ("Alice", None)], ("name", "age"))
df = df.orderBy(df.age.desc())
df.groupby("name").agg(sf.last("age")).orderBy("name").show()

+-----+---------+
| name|last(age)|
+-----+---------+
|Alice|     NULL|
|  Bob|        5|
+-----+---------+

Aby zignorować wszystkie wartości null, ustaw wartość ignorenullsTrue:

df.groupby("name").agg(sf.last("age", ignorenulls=True)).orderBy("name").show()

+-----+---------+
| name|last(age)|
+-----+---------+
|Alice|        2|
|  Bob|        5|
+-----+---------+