posexplode_outer

Devolve uma nova linha para cada elemento com posição no array ou mapa dado. Ao contrário do posexplode, se o array/mapa for nulo ou vazio, então a linha (nula, nula) é produzida. Usa o nome pos padrão da coluna para posição, e col para elementos no array e keyvalue para elementos no mapa, salvo indicação em contrário.

Sintaxe

from pyspark.sql import functions as sf

sf.posexplode_outer(col)

Parâmetros

Parâmetro	Tipo	Description
col	pyspark.sql.Column ou nome da coluna	Coluna alvo para trabalhar.

Devoluções

pyspark.sql.Column: uma linha por elemento do array ou valor da chave do mapa, incluindo posições como uma coluna separada.

Examples

Exemplo 1: Utilização de uma coluna de array

from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,ARRAY(1,2,3,NULL)), (2,ARRAY()), (3,NULL) AS t(i,a)')
df.select('*', sf.posexplode_outer('a')).show()

+---+---------------+----+----+
|  i|              a| pos| col|
+---+---------------+----+----+
|  1|[1, 2, 3, NULL]|   0|   1|
|  1|[1, 2, 3, NULL]|   1|   2|
|  1|[1, 2, 3, NULL]|   2|   3|
|  1|[1, 2, 3, NULL]|   3|NULL|
|  2|             []|NULL|NULL|
|  3|           NULL|NULL|NULL|
+---+---------------+----+----+

Exemplo 2: Usar uma coluna de mapa

from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,MAP(1,2,3,4,5,NULL)), (2,MAP()), (3,NULL) AS t(i,m)')
df.select('*', sf.posexplode_outer('m')).show(truncate=False)

+---+---------------------------+----+----+-----+
|i  |m                          |pos |key |value|
+---+---------------------------+----+----+-----+
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|0   |1   |2    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|1   |3   |4    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|2   |5   |NULL |
|2  |{}                         |NULL|NULL|NULL |
|3  |NULL                       |NULL|NULL|NULL |
+---+---------------------------+----+----+-----+