any_value

Возвращает некоторое значение col для группы строк.

Синтаксис

from pyspark.sql import functions as sf

sf.any_value(col, ignoreNulls=None)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или имя столбца	Целевой столбец для работы.
ignoreNulls	pyspark.sql.Column или bool, необязательный	Если первое значение равно NULL, найдите первое значение, отличное от NULL.

Возвраты

pyspark.sql.Column: некоторое col значение для группы строк.

Примеры

from pyspark.sql import functions as sf
df = spark.createDataFrame(
    [(None, 1), ("a", 2), ("a", 3), ("b", 8), ("b", 2)], ["c1", "c2"])
df.select(sf.any_value('c1'), sf.any_value('c2')).show()

+-------------+-------------+
|any_value(c1)|any_value(c2)|
+-------------+-------------+
|         NULL|            1|
+-------------+-------------+

df.select(sf.any_value('c1', True), sf.any_value('c2', True)).show()

+-------------+-------------+
|any_value(c1)|any_value(c2)|
+-------------+-------------+
|            a|            1|
+-------------+-------------+