arrays_zip

Devuelve una matriz combinada de estructuras en las que la estructura N contiene todos los valores N de matrices de entrada. Si una de las matrices es más corta que otras, el valor del tipo de estructura resultante será un valor NULL para los elementos que faltan.

Syntax

from pyspark.sql import functions as sf

sf.arrays_zip(*cols)

Parámetros

Parámetro	Tipo	Description
cols	pyspark.sql.Column o str	Columnas de matrices que se van a combinar.

Devoluciones

pyspark.sql.Column: matriz combinada de entradas.

Examples

Ejemplo 1: Compresión de dos matrices de la misma longitud

from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2, 3], ['a', 'b', 'c'])], ['nums', 'letters'])
df.select(sf.arrays_zip(df.nums, df.letters)).show(truncate=False)

+-------------------------+
|arrays_zip(nums, letters)|
+-------------------------+
|[{1, a}, {2, b}, {3, c}] |
+-------------------------+

Ejemplo 2: Comprimir matrices de diferentes longitudes

from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2], ['a', 'b', 'c'])], ['nums', 'letters'])
df.select(sf.arrays_zip(df.nums, df.letters)).show(truncate=False)

+---------------------------+
|arrays_zip(nums, letters)  |
+---------------------------+
|[{1, a}, {2, b}, {NULL, c}]|
+---------------------------+

Ejemplo 3: Compresión de más de dos matrices

from pyspark.sql import functions as sf
df = spark.createDataFrame(
  [([1, 2], ['a', 'b'], [True, False])], ['nums', 'letters', 'bools'])
df.select(sf.arrays_zip(df.nums, df.letters, df.bools)).show(truncate=False)

+--------------------------------+
|arrays_zip(nums, letters, bools)|
+--------------------------------+
|[{1, a, true}, {2, b, false}]   |
+--------------------------------+

Ejemplo 4: Compresión de matrices con valores NULL

from pyspark.sql import functions as sf
df = spark.createDataFrame([([1, 2, None], ['a', None, 'c'])], ['nums', 'letters'])
df.select(sf.arrays_zip(df.nums, df.letters)).show(truncate=False)

+------------------------------+
|arrays_zip(nums, letters)     |
+------------------------------+
|[{1, a}, {2, NULL}, {NULL, c}]|
+------------------------------+