Funkce vyššího řádu

Azure Databricks poskytuje vyhrazené primitivy pro manipulaci s poli v Apache Spark SQL. Tato primitiva usnadňují a zjednodušují práci s poli a nevyžadují velké množství šablonového kódu. Primitiva se točí kolem dvou funkčních programovacích konstruktorů: funkce vyššího řádu a anonymní funkce (lambda). Tyto funkce společně umožňují definovat funkce, které manipulují s poli v SQL.

Úvod

Funkce vyššího řádu přebírá pole, implementuje způsob zpracování tohoto pole a určuje výsledek výpočtu. Deleguje na funkci lambda, jak zpracovat každou položku v poli.

Následující poznámkové bloky vás seznámí s těmito funkcemi.

Poznámkový blok pro výuku funkcí vyššího řádu v Pythonu

Pořiďte si notebook

Úvod do poznámkového bloku funkcí vyššího řádu

Pořiďte si notebook

Integrované funkce Apache Sparku

Apache Spark obsahuje integrované funkce pro manipulaci se složitými typy, jako jsou typy polí, včetně funkcí vyššího pořadí.

Následující poznámkový blok znázorňuje předdefinované funkce Apache Sparku.

Sešit vestavěných funkcí Apache Spark

Pořiďte si notebook