Функции высшего порядка

Azure Databricks предоставляет выделенные примитивы для управления массивами в Apache Spark SQL. Эти примитивы упрощают работу с массивами, делают их использование более лаконичным и не требуют больших объемов шаблонного кода. В основе примитивов лежат две конструкции функционального программирования: функции высшего порядка и анонимные (лямбда) функции. Вместе они позволяют создавать функции для управления массивами в SQL.

Введение

Функция более высокого порядка принимает массив, реализует способ обработки этого массива и определяет результат вычисления. Она делегирует лямбда-функции обработку каждого элемента в массиве.

В следующих записных книжках представлены эти функции.

Руководство по функциям высшего порядка для блокнота Python

Получить ноутбук

Введение в блокнот о функциях высшего порядка

Получить ноутбук

Встроенные функции Apache Spark

Apache Spark имеет встроенные функции для управления сложными типами, такими как типы массивов, включая функции более высокого порядка.

В блокноте ниже демонстрируются встроенные функции Apache Spark.

Записная книжка встроенных функций Apache Spark

Получить ноутбук