string_agg

Агрегатная функция: возвращает объединение входных значений, отличных от NULL, разделенных разделителем. Псевдоним listagg.

Синтаксис

from pyspark.sql import functions as sf

sf.string_agg(col, delimiter=None)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или str	Целевой столбец для вычисления.
delimiter	pyspark.sql.Column, str или bytes, необязательный	Разделитель для разделения значений. Значение по умолчанию — None.

Возвраты

pyspark.sql.Column: столбец для вычисляемых результатов.

Примеры

Пример 1. Использование функции string_agg

from pyspark.sql import functions as sf
df = spark.createDataFrame([('a',), ('b',), (None,), ('c',)], ['strings'])
df.select(sf.string_agg('strings')).show()

+-------------------------+
|string_agg(strings, NULL)|
+-------------------------+
|                      abc|
+-------------------------+

Пример 2. Использование функции string_agg с разделителем

from pyspark.sql import functions as sf
df = spark.createDataFrame([('a',), ('b',), (None,), ('c',)], ['strings'])
df.select(sf.string_agg('strings', ', ')).show()

+-----------------------+
|string_agg(strings, , )|
+-----------------------+
|                a, b, c|
+-----------------------+

Пример 3. Использование функции string_agg с двоичным столбцом и разделителем

from pyspark.sql import functions as sf
df = spark.createDataFrame([(b'\x01',), (b'\x02',), (None,), (b'\x03',)], ['bytes'])
df.select(sf.string_agg('bytes', b'\x42')).show()

+------------------------+
|string_agg(bytes, X'42')|
+------------------------+
|        [01 42 02 42 03]|
+------------------------+