forall

Возвращает, выполняется ли предикат для каждого элемента в массиве. Поддерживает Spark Connect.

Для соответствующей функции Databricks SQL смотрите функцию forall.

Синтаксис

from pyspark.databricks.sql import functions as dbf

dbf.forall(col=<col>, f=<f>)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или str	Имя столбца или выражения.
f	function	Функция, возвращающая логическое выражение.

Возвраты

pyspark.sql.Column: значение True, если "все" элементы массива вычисляют значение True при передаче в качестве аргумента заданной функции и false в противном случае.

Примеры

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame(
    [(1, ["bar"]), (2, ["foo", "bar"]), (3, ["foobar", "foo"])],
    ("key", "values")
)
df.select(dbf.forall("values", lambda x: x.rlike("foo")).alias("all_foo")).show()

+-------+
|all_foo|
+-------+
|  false|
|  false|
|   true|
+-------+