sort_array

Сортирует входной массив в порядке возрастания или убывания по естественному упорядочению элементов массива. Элементы NULL будут помещены в начало возвращаемого массива в порядке возрастания или в конце возвращаемого массива в порядке убывания.

Синтаксис

from pyspark.sql import functions as sf

sf.sort_array(col, asc=True)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или str	Имя столбца или выражения.
asc	bool, необязательный	Сортировка по возрастанию или убыванию. Если значение asc имеет значение True (по умолчанию), сортировка находится в порядке возрастания. Если значение False, то в порядке убывания.

Возвраты

pyspark.sql.Column: отсортированный массив.

Примеры

Пример 1. Сортировка массива в порядке возрастания

import pyspark.sql.functions as sf
df = spark.createDataFrame([([2, 1, None, 3],)], ['data'])
df.select(sf.sort_array(df.data)).show()

+----------------------+
|sort_array(data, true)|
+----------------------+
|       [NULL, 1, 2, 3]|
+----------------------+

Пример 2. Сортировка массива в порядке убывания

import pyspark.sql.functions as sf
df = spark.createDataFrame([([2, 1, None, 3],)], ['data'])
df.select(sf.sort_array(df.data, asc=False)).show()

+-----------------------+
|sort_array(data, false)|
+-----------------------+
|        [3, 2, 1, NULL]|
+-----------------------+

Пример 3. Сортировка массива с одним элементом

import pyspark.sql.functions as sf
df = spark.createDataFrame([([1],)], ['data'])
df.select(sf.sort_array(df.data)).show()

+----------------------+
|sort_array(data, true)|
+----------------------+
|                   [1]|
+----------------------+

Пример 4. Сортировка пустого массива

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, StringType, StructField, StructType
schema = StructType([StructField("data", ArrayType(StringType()), True)])
df = spark.createDataFrame([([],)], schema=schema)
df.select(sf.sort_array(df.data)).show()

+----------------------+
|sort_array(data, true)|
+----------------------+
|                    []|
+----------------------+

Пример 5. Сортировка массива со значениями NULL

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, IntegerType, StructType, StructField
schema = StructType([StructField("data", ArrayType(IntegerType()), True)])
df = spark.createDataFrame([([None, None, None],)], schema=schema)
df.select(sf.sort_array(df.data)).show()

+----------------------+
|sort_array(data, true)|
+----------------------+
|    [NULL, NULL, NULL]|
+----------------------+