array_append

Возвращает новый столбец массива путем добавления значения в существующий массив.

Синтаксис

from pyspark.sql import functions as sf

sf.array_append(col, value)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или str	Имя столбца, содержащего массив.
value	Любое	Литеральное значение или выражение столбца, добавляемое к массиву.

Возвраты

pyspark.sql.Column: новый столбец массива, value добавленный к исходному массиву.

Примеры

Пример 1. Добавление значения столбца в столбец массива

from pyspark.sql import Row, functions as sf
df = spark.createDataFrame([Row(c1=["b", "a", "c"], c2="c")])
df.select(sf.array_append(df.c1, df.c2)).show()

+--------------------+
|array_append(c1, c2)|
+--------------------+
|        [b, a, c, c]|
+--------------------+

Пример 2. Добавление числового значения в столбец массива

from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2, 3],)], ['data'])
df.select(sf.array_append(df.data, 4)).show()

+---------------------+
|array_append(data, 4)|
+---------------------+
|         [1, 2, 3, 4]|
+---------------------+

Пример 3. Добавление значения NULL в столбец массива

from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2, 3],)], ['data'])
df.select(sf.array_append(df.data, None)).show()

+------------------------+
|array_append(data, NULL)|
+------------------------+
|         [1, 2, 3, NULL]|
+------------------------+

Пример 4. Добавление значения в столбец массива NULL

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, IntegerType, StructType, StructField
schema = StructType([
  StructField("data", ArrayType(IntegerType()), True)
])
df = spark.createDataFrame([(None,)], schema=schema)
df.select(sf.array_append(df.data, 4)).show()

+---------------------+
|array_append(data, 4)|
+---------------------+
|                 NULL|
+---------------------+

Пример 5. Добавление значения в пустой массив

from pyspark.sql import functions as sf
from pyspark.sql.types import ArrayType, IntegerType, StructType, StructField
schema = StructType([
  StructField("data", ArrayType(IntegerType()), True)
])
df = spark.createDataFrame([([],)], schema=schema)
df.select(sf.array_append(df.data, 1)).show()

+---------------------+
|array_append(data, 1)|
+---------------------+
|                  [1]|
+---------------------+