call_function

Een SQL-functie aanroepen. Ondersteunt Spark Connect.

Syntaxis

from pyspark.databricks.sql import functions as dbf

dbf.call_function(funcName=<funcName>, *cols)

Parameterwaarden

Kenmerk	Typologie	Description
funcName	str	Functienaam die volgt op de syntaxis van de SQL-id (kan worden aangeroepen, kan worden gekwalificeerd).
cols	pyspark.sql.Column of str	Kolomnamen of kolommen die moeten worden gebruikt in de functie.

Retouren

pyspark.sql.Column: resultaat van de uitgevoerde functie.

Voorbeelden

Voorbeeld 1: Een functie aanroepen met een kolom met een geheel getal

from pyspark.databricks.sql import functions as dbf
from pyspark.sql.types import IntegerType, StringType
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
_ = spark.udf.register("intX2", lambda i: i * 2, IntegerType())
df.select(dbf.call_function("intX2", "id")).show()

+---------+
|intX2(id)|
+---------+
|        2|
|        4|
|        6|
+---------+

Voorbeeld 2: Een functie aanroepen met een tekenreekskolom

from pyspark.databricks.sql import functions as dbf
from pyspark.sql.types import StringType
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
_ = spark.udf.register("strX2", lambda s: s * 2, StringType())
df.select(dbf.call_function("strX2", dbf.col("name"))).show()

+-----------+
|strX2(name)|
+-----------+
|         aa|
|         bb|
|         cc|
+-----------+

Voorbeeld 3: Een ingebouwde functie aanroepen

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
df.select(dbf.call_function("avg", dbf.col("id"))).show()

+-------+
|avg(id)|
+-------+
|    2.0|
+-------+

Voorbeeld 4: Een aangepaste SQL-functie aanroepen

from pyspark.databricks.sql import functions as dbf
_ = spark.sql("CREATE FUNCTION custom_avg AS 'test.org.apache.spark.sql.MyDoubleAvg'")

df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
df.select(dbf.call_function("custom_avg", dbf.col("id"))).show()

+------------------------------------+
|spark_catalog.default.custom_avg(id)|
+------------------------------------+
|                               102.0|
+------------------------------------+

Voorbeeld 5: Een aangepaste SQL-functie aanroepen met een volledig gekwalificeerde naam

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
df.select(dbf.call_function("spark_catalog.default.custom_avg", dbf.col("id"))).show()

+------------------------------------+
|spark_catalog.default.custom_avg(id)|
+------------------------------------+
|                               102.0|
+------------------------------------+