concat

Função de coleção: Concatena múltiplas colunas de entrada numa única coluna. A função funciona com strings, números numéricos, binários e colunas de array compatíveis. Suporta o Spark Connect.

Para a função SQL do Databricks correspondente, veja concat função.

Sintaxe

from pyspark.databricks.sql import functions as dbf

dbf.concat(*cols)

Parâmetros

Parâmetro	Tipo	Description
cols	pyspark.sql.Column ou str	Alvo coluna ou colunas para trabalhar.

Devoluções

pyspark.sql.Column: valores concatenados. O tipo depende Column do tipo das colunas de entrada.

Examples

Exemplo 1: Concatenar colunas de cadeia

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([('abcd','123')], ['s', 'd'])
df.select(dbf.concat(df.s, df.d)).show()

+------------+
|concat(s, d)|
+------------+
|     abcd123|
+------------+

Exemplo 2: Concatenar colunas de arrays

from pyspark.databricks.sql import functions as dbf
df = spark.createDataFrame([([1, 2], [3, 4], [5]), ([1, 2], None, [3])], ['a', 'b', 'c'])
df.select(dbf.concat(df.a, df.b, df.c)).show()

+---------------+
|concat(a, b, c)|
+---------------+
|[1, 2, 3, 4, 5]|
|           NULL|
+---------------+