first

Retourneert de eerste waarde in een groep. De functie retourneert standaard de eerste waarden die worden weergegeven. Hiermee wordt de eerste niet-null-waarde geretourneerd die wordt weergegeven wanneer ignoreNulls is ingesteld op true. Als alle waarden null zijn, wordt null geretourneerd. De functie is niet-deterministisch omdat de resultaten ervan afhankelijk zijn van de volgorde van de rijen die mogelijk niet deterministisch zijn na een willekeurige volgorde.

Syntaxis

from pyspark.sql import functions as sf

sf.first(col, ignorenulls=False)

Parameterwaarden

Kenmerk	Typologie	Description
col	pyspark.sql.Column of kolomnaam	Kolom waarvoor de eerste waarde moet worden opgehaald.
ignorenulls	bool	Als de eerste waarde null is, zoekt u naar de eerste niet-null-waarde. Standaard onwaar.

Retouren

pyspark.sql.Column: eerste waarde van de groep.

Voorbeelden

from pyspark.sql import functions as sf
df = spark.createDataFrame([("Alice", 2), ("Bob", 5), ("Alice", None)], ("name", "age"))
df = df.orderBy(df.age)
df.groupby("name").agg(sf.first("age")).orderBy("name").show()

+-----+----------+
| name|first(age)|
+-----+----------+
|Alice|      NULL|
|  Bob|         5|
+-----+----------+

Als u null-waarden wilt negeren, stelt u deze in ignorenulls op True:

df.groupby("name").agg(sf.first("age", ignorenulls=True)).orderBy("name").show()

+-----+----------+
| name|first(age)|
+-----+----------+
|Alice|         2|
|  Bob|         5|
+-----+----------+