Fungsi
Berlaku untuk:
Databricks Runtime
Spark SQL menyediakan dua fitur fungsi untuk memenuhi berbagai kebutuhan: fungsi bawaan dan fungsi yang ditentukan pengguna (UDF).
Untuk mempelajari tentang resolusi fungsi dan pemanggilan fungsi, lihat: Pemanggilan fungsi.
Fungsi bawaan
Artikel ini menyajikan penggunaan dan deskripsi kategori fungsi bawaan yang sering digunakan untuk agregasi, array dan peta, tanggal dan tanda waktu, dan data JSON.
Fungsi yang ditentukan pengguna SQL dan Python
Fungsi yang ditentukan pengguna (UDF) SQL dan Python adalah fungsi yang dapat Anda tentukan sendiri yang dapat mengembalikan nilai skalar atau tataan hasil.
Lihat CREATE FUNCTION (SQL, Python) untuk informasi selengkapnya.
Fungsi eksternal yang ditentukan pengguna
UDF memungkinkan Anda menentukan fungsi Anda sendiri ketika fungsi bawaan sistem tidak cukup untuk melakukan tugas yang diinginkan. Untuk menggunakan UDF, Anda terlebih dahulu menentukan fungsi, lalu mendaftarkan fungsi dengan Spark, dan akhirnya memanggil fungsi terdaftar. UDF dapat bertindak pada satu baris atau bertindak pada beberapa baris sekaligus. Spark SQL juga mendukung integrasi implementasi UDF Apache Hive yang ada, fungsi agregat yang ditentukan pengguna (UDAF), dan fungsi tabel yang ditentukan pengguna (UDTF).