UserDefinedFunction

Fungsi yang ditentukan pengguna dalam Python.

Konstruktor kelas ini tidak seharusnya dipanggil secara langsung. Gunakan pyspark.sql.functions.udf atau pyspark.sql.functions.pandas_udf untuk membuat instans.

Sintaksis

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

my_udf = udf(lambda x: x.upper(), StringType())

Karakteristik

Harta benda	Deskripsi
returnType	Jenis pengembalian fungsi yang ditentukan pengguna sebagai DataType.

Metode

Metode	Deskripsi
asNondeterministic()	Memperbarui UserDefinedFunction menjadi nondeterministik.

Examples

from pyspark.sql.functions import udf
from pyspark.sql.types import StringType

upper_udf = udf(lambda x: x.upper(), StringType())
df = spark.createDataFrame([("alice",), ("bob",)], ["name"])
df.select(upper_udf("name")).show()

+-----------+
|<lambda>(name)|
+-----------+
|      ALICE|
|        BOB|
+-----------+

import random
from pyspark.sql.functions import udf
from pyspark.sql.types import IntegerType

random_udf = udf(lambda: random.randint(0, 100), IntegerType()).asNondeterministic()
random_udf.returnType

IntegerType()