concat

Функция коллекции: объединяет несколько входных столбцов в один столбец. Функция работает со строками, числовыми, двоичными и совместимыми столбцами массива. Поддерживает Spark Connect.

Для соответствующей функции Databricks SQL смотрите функцию concat.

Синтаксис

from pyspark.databricks.sql import functions as dbf

dbf.concat(*cols)

Параметры

Параметр	Тип	Description
cols	pyspark.sql.Column или str	Целевой столбец или столбцы для работы.

Возвраты

pyspark.sql.Column: сцепленные значения. Column Тип зависит от типа входных столбцов.

Примеры

Пример 1. Объединение строковых столбцов

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([('abcd','123')], ['s', 'd'])
df.select(dbf.concat(df.s, df.d)).show()

+------------+
|concat(s, d)|
+------------+
|     abcd123|
+------------+

Пример 2. Объединение столбцов массива

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([([1, 2], [3, 4], [5]), ([1, 2], None, [3])], ['a', 'b', 'c'])
df.select(dbf.concat(df.a, df.b, df.c)).show()

+---------------+
|concat(a, b, c)|
+---------------+
|[1, 2, 3, 4, 5]|
|           NULL|
+---------------+