call_function

SQL-függvény meghívása. Támogatja a Spark Connectet.

Szemantika

from pyspark.databricks.sql import functions as dbf

dbf.call_function(funcName=<funcName>, *cols)

Paraméterek

Paraméter	Típus	Description
funcName	str	Az SQL-azonosító szintaxisát követő függvénynév (idézhető, minősíthető).
cols	pyspark.sql.Column vagy str	A függvényben használandó oszlopnevek vagy oszlopok.

Visszatérítések

pyspark.sql.Column: a végrehajtott függvény eredménye.

Példák

1. példa: Függvény meghívása egész szám oszlopban

from pyspark.databricks.sql import functions as dbf
from pyspark.sql.types import IntegerType, StringType
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
_ = spark.udf.register("intX2", lambda i: i * 2, IntegerType())
df.select(dbf.call_function("intX2", "id")).show()

+---------+
|intX2(id)|
+---------+
|        2|
|        4|
|        6|
+---------+

2. példa: Függvény meghívása sztringoszloppal

from pyspark.databricks.sql import functions as dbf
from pyspark.sql.types import StringType
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
_ = spark.udf.register("strX2", lambda s: s * 2, StringType())
df.select(dbf.call_function("strX2", dbf.col("name"))).show()

+-----------+
|strX2(name)|
+-----------+
|         aa|
|         bb|
|         cc|
+-----------+

3. példa: Beépített függvény meghívása

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
df.select(dbf.call_function("avg", dbf.col("id"))).show()

+-------+
|avg(id)|
+-------+
|    2.0|
+-------+

4. példa: Egyéni SQL-függvény meghívása

from pyspark.databricks.sql import functions as dbf
_ = spark.sql("CREATE FUNCTION custom_avg AS 'test.org.apache.spark.sql.MyDoubleAvg'")

df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
df.select(dbf.call_function("custom_avg", dbf.col("id"))).show()

+------------------------------------+
|spark_catalog.default.custom_avg(id)|
+------------------------------------+
|                               102.0|
+------------------------------------+

5. példa: Egyéni SQL-függvény meghívása teljes névvel

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([(1, "a"),(2, "b"), (3, "c")],["id", "name"])
df.select(dbf.call_function("spark_catalog.default.custom_avg", dbf.col("id"))).show()

+------------------------------------+
|spark_catalog.default.custom_avg(id)|
+------------------------------------+
|                               102.0|
+------------------------------------+