array_append

Devuelve una nueva columna de matriz anexando un valor a la matriz existente.

Syntax

from pyspark.sql import functions as sf

sf.array_append(col, value)

Parámetros

Parámetro	Tipo	Description
col	pyspark.sql.Column o str	Nombre de la columna que contiene la matriz.
value	Cualquiera	Valor literal o expresión column que se va a anexar a la matriz.

Devoluciones

pyspark.sql.Column: una nueva columna de matriz con value anexada a la matriz original.

Examples

Ejemplo 1: Anexar un valor de columna a una columna de matriz

from pyspark.sql import Row, functions as sf
df = spark.createDataFrame([Row(c1=["b", "a", "c"], c2="c")])
df.select(sf.array_append(df.c1, df.c2)).show()

+--------------------+
|array_append(c1, c2)|
+--------------------+
|        [b, a, c, c]|
+--------------------+

Ejemplo 2: Anexar un valor numérico a una columna de matriz

from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2, 3],)], ['data'])
df.select(sf.array_append(df.data, 4)).show()

+---------------------+
|array_append(data, 4)|
+---------------------+
|         [1, 2, 3, 4]|
+---------------------+

Ejemplo 3: Anexar un valor NULL a una columna de matriz

from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2, 3],)], ['data'])
df.select(sf.array_append(df.data, None)).show()

+------------------------+
|array_append(data, NULL)|
+------------------------+
|         [1, 2, 3, NULL]|
+------------------------+

Ejemplo 4: Anexar un valor a una columna de matriz NULL

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, IntegerType, StructType, StructField
schema = StructType([
  StructField("data", ArrayType(IntegerType()), True)
])
df = spark.createDataFrame([(None,)], schema=schema)
df.select(sf.array_append(df.data, 4)).show()

+---------------------+
|array_append(data, 4)|
+---------------------+
|                 NULL|
+---------------------+

Ejemplo 5: Anexar un valor a una matriz vacía

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, IntegerType, StructType, StructField
schema = StructType([
  StructField("data", ArrayType(IntegerType()), True)
])
df = spark.createDataFrame([([],)], schema=schema)
df.select(sf.array_append(df.data, 1)).show()

+---------------------+
|array_append(data, 1)|
+---------------------+
|                  [1]|
+---------------------+