Fungsi tingkat tinggi

Azure Databricks menyediakan primitif khusus untuk memanipulasi array di Apache Spark SQL. Primitif ini membuat bekerja dengan array lebih mudah dan lebih ringkas dan tidak memerlukan sejumlah besar kode boilerplate. Primitif berpusat pada dua konstruksi pemrograman fungsional: fungsi tatanan lebih tinggi dan fungsi anonim (lambda). Kerja sama ini memungkinkan Anda menentukan fungsi yang memanipulasi larik dalam SQL.

Pendahuluan

Fungsi urutan yang lebih tinggi mengambil array, mengimplementasikan bagaimana array tersebut diproses, dan menentukan hasil komputasi. Dia mendelegasikan kepada fungsi lambda bagaimana memproses setiap item dalam array.

Notebook berikut memperkenalkan Anda ke fungsi-fungsi ini.

Notebook Python tutorial fungsi tingkat tinggi

Ambil buku catatan

Pengenalan notebook fungsi tingkat tinggi

Ambil buku catatan

fungsi bawaan Apache Spark

Apache Spark memiliki fungsi bawaan untuk memanipulasi jenis kompleks, seperti jenis array, termasuk fungsi urutan yang lebih tinggi.

Notebook berikut mengilustrasikan fungsi bawaan Apache Spark.

Notebook fungsi bawaan Apache Spark

Ambil buku catatan