Funktionen höherer Ordnung
Azure Databricks bietet dedizierte Primitive zur Bearbeitung von Arrays in Apache Spark SQL. Dadurch wird die Arbeit mit Arrays viel einfacher und präziser und die großen Mengen an normalerweise erforderlichem Codebausteinen entfallen. Die Primitive beruhen auf zwei funktionalen Programmierkonstrukten: Funktionen höherer Ordnung und anonymen (Lambda-)Funktionen. Dank ihres Zusammenspiels können Sie Funktionen definieren, die Arrays in SQL bearbeiten. Eine Funktion höherer Ordnung nimmt ein Array und implementiert, wie das Array verarbeitet wird und wie das Ergebnis der Berechnung sein wird. Sie delegiert an eine Lambdafunktion, wie jedes Element im Array verarbeitet wird.
Notebook mit einer Einführung in Funktionen höherer Ordnung
Python-Notebook mit einem Tutorial zu Funktionen höherer Ordnung
In Apache Spark integrierte Funktionen
Apache Spark verfügt über integrierte Funktionen zum Bearbeiten komplexer Typen (z. B. von Arraytypen), darunter auch Funktionen höherer Ordnung.
Im folgenden Notebook werden die in Apache Spark integrierten Funktionen veranschaulicht.