Поделиться через

Функции

  • Статья

Область применения: флажок Databricks Runtime

В Spark SQL есть два типа функций, которые помогают удовлетворить широкий спектр потребностей: встроенные функции и определяемые пользователем функции.

Дополнительные сведения о разрешении функций и вызове функций см. в статье "Вызов функции".

Встроенные функции

В этой статье представлены сведения о применении и описания категорий часто используемых встроенных функций для агрегирования, массивов и сопоставлений, дат и меток времени, а также данных JSON.

Определяемые пользователем функции SQL и Python

Определяемые пользователем функции SQL и Python — это функции, которые можно определить самостоятельно, которые могут возвращать скалярные значения или результирующие наборы.

Дополнительные сведения см. в статье CREATE FUNCTION (SQL, Python).

Внешние определяемые пользователем функции

Определяемые пользователем функции позволяют задавать собственные функции, если встроенные функции системы не способны решить требуемую задачу. Чтобы использовать определяемые пользователем функции, сначала задайте функцию, затем зарегистрируйте ее в Spark и, наконец, вызовите ее. Определяемые пользователем функции могут работать с одной строкой или несколькими строками одновременно. Spark SQL также поддерживает интеграцию существующих реализаций в Hive определяемых пользователем функций, определяемых пользователем агрегатных функций (UDAF) и определяемых пользователем табличных функций (UDTF).