array_append

Retourneert een nieuwe matrixkolom door een waarde toe te voegen aan de bestaande matrix.

Toegevoegd in Databricks Runtime 12.2 LTS

Syntaxis

from pyspark.sql import functions as sf

sf.array_append(col, value)

Parameterwaarden

Kenmerk	Typologie	Description
col	pyspark.sql.Column of str	De naam van de kolom die de matrix bevat.
value	Welke dan ook	Een letterlijke waarde of een kolomexpressie die moet worden toegevoegd aan de matrix.

Retouren

pyspark.sql.Column: Een nieuwe matrixkolom waaraan value de oorspronkelijke matrix is toegevoegd.

Voorbeelden

Voorbeeld 1: Een kolomwaarde toevoegen aan een matrixkolom

from pyspark.sql import Row, functions as sf
df = spark.createDataFrame([Row(c1=["b", "a", "c"], c2="c")])
df.select(sf.array_append(df.c1, df.c2)).show()

+--------------------+
|array_append(c1, c2)|
+--------------------+
|        [b, a, c, c]|
+--------------------+

Voorbeeld 2: Een numerieke waarde toevoegen aan een matrixkolom

from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2, 3],)], ['data'])
df.select(sf.array_append(df.data, 4)).show()

+---------------------+
|array_append(data, 4)|
+---------------------+
|         [1, 2, 3, 4]|
+---------------------+

Voorbeeld 3: Een null-waarde toevoegen aan een matrixkolom

from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2, 3],)], ['data'])
df.select(sf.array_append(df.data, None)).show()

+------------------------+
|array_append(data, NULL)|
+------------------------+
|         [1, 2, 3, NULL]|
+------------------------+

Voorbeeld 4: Een waarde toevoegen aan een NULL-matrixkolom

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, IntegerType, StructType, StructField
schema = StructType([
  StructField("data", ArrayType(IntegerType()), True)
])
df = spark.createDataFrame([(None,)], schema=schema)
df.select(sf.array_append(df.data, 4)).show()

+---------------------+
|array_append(data, 4)|
+---------------------+
|                 NULL|
+---------------------+

Voorbeeld 5: Een waarde toevoegen aan een lege matrix

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, IntegerType, StructType, StructField
schema = StructType([
  StructField("data", ArrayType(IntegerType()), True)
])
df = spark.createDataFrame([([],)], schema=schema)
df.select(sf.array_append(df.data, 1)).show()

+---------------------+
|array_append(data, 1)|
+---------------------+
|                  [1]|
+---------------------+