explode_outer

Возвращает новую строку для каждого элемента в заданном массиве или карте. В отличие от взрыва, если массив или карта имеет значение NULL или пустой, создается значение NULL. Использует имя col столбца по умолчанию для элементов в массиве и keyvalue для элементов в карте, если не указано иное.

Синтаксис

from pyspark.sql import functions as sf

sf.explode_outer(col)

Параметры

Параметр	Тип	Description
col	pyspark.sql.Column или имя столбца	Целевой столбец для работы.

Возвраты

pyspark.sql.Column: одна строка на элемент массива или значение ключа карты.

Примеры

Пример 1. Использование столбца массива

from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,ARRAY(1,2,3,NULL)), (2,ARRAY()), (3,NULL) AS t(i,a)')
df.select('*', sf.explode_outer('a')).show()

+---+---------------+----+
|  i|              a| col|
+---+---------------+----+
|  1|[1, 2, 3, NULL]|   1|
|  1|[1, 2, 3, NULL]|   2|
|  1|[1, 2, 3, NULL]|   3|
|  1|[1, 2, 3, NULL]|NULL|
|  2|             []|NULL|
|  3|           NULL|NULL|
+---+---------------+----+

Пример 2. Использование столбца карты

from pyspark.sql import functions as sf
df = spark.sql('SELECT * FROM VALUES (1,MAP(1,2,3,4,5,NULL)), (2,MAP()), (3,NULL) AS t(i,m)')
df.select('*', sf.explode_outer('m')).show(truncate=False)

+---+---------------------------+----+-----+
|i  |m                          |key |value|
+---+---------------------------+----+-----+
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|1   |2    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|3   |4    |
|1  |{1 -> 2, 3 -> 4, 5 -> NULL}|5   |NULL |
|2  |{}                         |NULL|NULL |
|3  |NULL                       |NULL|NULL |
+---+---------------------------+----+-----+