Функции высшего порядка
В Azure Databricks есть специальные примитивы для управления массивами в Apache Spark SQL; они существенно упрощают работу с массивами, делают ее точнее и помогают избавиться от больших объемов стандартного кода, который, как правило, необходим. В основе примитивов лежат две конструкции функционального программирования: функции высшего порядка и анонимные (лямбда) функции. Вместе они позволяют создавать функции для управления массивами в SQL. Функция высшего порядка принимает массив, реализует его обработку и возвращает результат вычисления. Она делегирует лямбда-функции обработку каждого элемента в массиве.
Общие сведения о функциях высшего порядка в записной книжке
Руководство по функциям высшего порядка для записной книжки Python
Встроенные функции Apache Spark
Apache Spark содержит встроенные функции для управления сложными типами (например, типами массивов), включая функции более высокого порядка.
В записной книжке ниже демонстрируются встроенные функции Apache Spark.