Functions
Gilt für:
Databricks Runtime
Spark SQL bietet zwei Funktionsfeatures, um eine Vielzahl von Anforderungen zu erfüllen: integrierte Funktionen und benutzerdefinierte Funktionen (User-Defined Functions, UDFs).
Weitere Informationen zur Funktionsauflösung und zum Funktionsaufruf finden Sie unter Funktionsaufruf.
Integrierte Funktionen
In diesem Artikel werden die Verwendungen und Beschreibungen von Kategorien häufig verwendeter integrierter Funktionen für Aggregationen, Arrays und Zuordnungen, Daten und Zeitstempel sowie JSON-Daten beschrieben.
Benutzerdefinierte SQL- und Python-Funktionen
Benutzerdefinierten SQL- und Python-Funktionen (UDFs) sind Funktionen, die Sie selbst definieren können, die Skalarwerte oder Ergebnissätze zurückgeben können.
Weitere Informationen finden Sie unter FCREATE FUNCTION (SQL, Python).
Externe benutzerdefinierte SQL-Funktionen
Mit UDFs können Sie eigene Funktionen definieren, wenn die integrierten Funktionen des Systems nicht ausreichen, um die gewünschte Aufgabe auszuführen. Um UDFs zu verwenden, definieren Sie zuerst die Funktion, registrieren Sie die Funktion dann bei Spark, und rufen Sie schließlich die registrierte Funktion auf. UDFs können auf eine einzelne Zeile oder auf mehrere Zeilen gleichzeitig angewendet werden. Spark SQL unterstützt auch die Integration bestehender Hive-Implementierungen von UDFs, benutzerdefinierte Aggregatfunktionen (UDAF) und benutzerdefinierte Tabellenfunktionen (UDTF).