существует

Возвращает, истинно ли утверждение для одного или нескольких элементов в массиве. Поддерживает Spark Connect.

Для соответствующей функции Databricks SQL смотрите функцию exists.

Синтаксис

from pyspark.databricks.sql import functions as dbf

dbf.exists(col=<col>, f=<f>)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или str	Имя столбца или выражения.
f	function	Функция, возвращающая логическое выражение.

Возвраты

pyspark.sql.Column: значение True, если элемент "любой" массива вычисляется как true при передаче в качестве аргумента заданной функции и false в противном случае.

Примеры

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, [1, 2, 3, 4]), (2, [3, -1, 0])],("key", "values"))
df.select(dbf.exists("values", lambda x: x < 0).alias("any_negative")).show()

+------------+
|any_negative|
+------------+
|       false|
|        true|
+------------+