call_function

Вызов функции SQL. Поддерживает Spark Connect.

Синтаксис

from pyspark.databricks.sql import functions as dbf

dbf.call_function(funcName=<funcName>, *cols)

Параметры

Параметр	Тип	Description
funcName	str	Имя функции, которое следует синтаксису идентификатора SQL (можно квалифицировать, может быть квалифицировано).
cols	pyspark.sql.Column или str	Имена столбцов или столбцы, которые будут использоваться в функции.

Возвраты

pyspark.sql.Column: результат выполнения функции.

Примеры

Пример 1. Вызов функции с целым столбцом

from pyspark.databricks.sql import functions as dbf
from pyspark.sql.types import IntegerType, StringType
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
_ = spark.udf.register("intX2", lambda i: i * 2, IntegerType())
df.select(dbf.call_function("intX2", "id")).show()

+---------+
|intX2(id)|
+---------+
|        2|
|        4|
|        6|
+---------+

Пример 2. Вызов функции со строковым столбцом

from pyspark.databricks.sql import functions as dbf
from pyspark.sql.types import StringType
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
_ = spark.udf.register("strX2", lambda s: s * 2, StringType())
df.select(dbf.call_function("strX2", dbf.col("name"))).show()

+-----------+
|strX2(name)|
+-----------+
|         aa|
|         bb|
|         cc|
+-----------+

Пример 3. Вызов встроенной функции

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
df.select(dbf.call_function("avg", dbf.col("id"))).show()

+-------+
|avg(id)|
+-------+
|    2.0|
+-------+

Пример 4. Вызов пользовательской функции SQL

from pyspark.databricks.sql import functions as dbf
_ = spark.sql("CREATE FUNCTION custom_avg AS 'test.org.apache.spark.sql.MyDoubleAvg'")

df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
df.select(dbf.call_function("custom_avg", dbf.col("id"))).show()

+------------------------------------+
|spark_catalog.default.custom_avg(id)|
+------------------------------------+
|                               102.0|
+------------------------------------+

Пример 5. Вызов пользовательской функции SQL с полным именем

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
df.select(dbf.call_function("spark_catalog.default.custom_avg", dbf.col("id"))).show()

+------------------------------------+
|spark_catalog.default.custom_avg(id)|
+------------------------------------+
|                               102.0|
+------------------------------------+